Key points are not available for this paper at this time.
초록. 정보 검색 시스템은 전통적으로 절대적 관련성 판단을 통해 평가되어 왔습니다: 각 문서는 다른 문서의 주제와는 독립적으로 관련성을 기준으로 판단됩니다. 우리는 ‘문서 A가 문서 B보다 더 관련성이 높다’는 형식의 선호 판단이 평가자에게 절대적 판단보다 더 쉬울 것이라고 가정하며, 평가자와의 연구를 통해 우리의 가설을 입증할 수 있는 증거를 제공합니다. 이후 우리는 선호 판단을 사용하여 검색 엔진을 평가하는 방법을 조사합니다. 또한, 추론 및 판단할 쌍의 현명한 선택을 사용함으로써, 평가 방법을 적용하기 위해 모든 문서 쌍을 비교할 필요가 없음을 보여줍니다. 1
Carterette et al. (Sun,)는 이 질문을 연구했습니다.