관련성이 높은 문서에 의한 평가

웹의 규모를 감안할 때, 검색 엔진 산업은 엔진이 가능한 모든 관련 페이지가 아닌, 매우 관련성이 높은 페이지를 검색하는 능력에 따라 평가되어야 한다고 주장해 왔습니다. 매우 관련성이 높은 문서가 검색 시스템 평가에서 어떤 역할을 하는지 탐구하기 위해, TREC-9 웹 트랙의 평가자들은 3점 리옹스 척도를 사용하고 각 주제에 대한 최상의 페이지를 선정했습니다. 서로 다른 관련 문서 세트로 평가된 실행의 상대적인 효율성은 달라졌으며, 이는 서로 다른 검색 기술이 매우 관련성이 높은 문서를 검색하는 데 더 잘 작동한다는 가설을 확인시켜 주었습니다. 하지만 매우 관련성이 높은 문서로 평가하면 불안정할 수 있습니다. 왜냐하면 매우 관련성이 높은 문서가 상대적으로 적기 때문입니다. TREC 평가자들은 종종 최상의 페이지 선택에서 의견이 일치하지 않았고, 후속적으로 여러 평가자 간에 최상의 페이지에 대한 평가도 크게 달라졌습니다. Järvelin과 Kekäläinen이 도입한 할인 누적 이득 측정치는 모든 관련성 판단을 통합하여 평가의 안정성을 높이면서도 여전히 매우 관련성이 높은 문서에 우선권을 부여합니다.