메타크롤러를 이용한 다중 엔진 검색 및 비교

표준 웹 검색 서비스는 유용하지만 이상적이지는 않습니다. 현재 존재하는 여러 가지 검색 서비스가 있으며, 각기 다른 인터페이스와 웹의 다양한 부분을 포함한 데이터베이스를 갖추고 있습니다. 그 결과 사용자들은 서로 다른 서비스에서 반복적으로 쿼리를 시도해야 합니다. 게다가 서비스는 관련 없는 정보, 오래된 정보 또는 사용 불가능한 많은 응답을 반환해 사용자가 유용한 정보를 찾기 위해 응답을 수동으로 검토해야 합니다. 본 논문은 정보 '식품 사슬'의 다음 단계로 나아가는 메타크롤러라는 현장 웹 서비스를 제시합니다. 메타크롤러는 웹 문서 검색을 위한 단일 중앙 인터페이스를 제공합니다. 쿼리를 수신하면 메타크롤러는 여러 검색 서비스에 쿼리를 병렬로 전송하고 반환된 참조를 수집하며, 이 참조들의 존재를 확인하고 관련 정보를 포함하고 있는지를 보장하기 위해 불러옵니다. 메타크롤러는 사용자 기계에 거주할 수 있을 정도로 가벼워 사용자 맞춤화, 개인 정보 보호, 정교한 참조 필터링 등을 용이하게 합니다. 또한 메타크롤러는 다양한 검색 서비스 비교 도구로도 활용됩니다. 메타크롤러의 데이터를 이용하여 우리는 여섯 개의 웹 검색 서비스인 Galaxy 5, InfoSeek 1, Lycos 15, Open Text 20, WebCrawler 22, Yahoo 9에 대한 '소비자 보고서' 평가를 제시합니다. 또한, 메타크롤러에 가장 많이 제출된 쿼리에 대해서도 보고합니다.