밴디트 기법을 이용한 공정하고 재사용 가능한 테스트 컬렉션 구축

테스트 컬렉션은 정보 검색을 위한 연구 인프라의 중요한 부분이지만, 대규모 데이터 세트를 위한 공정하고 재사용 가능한 테스트 컬렉션을 구축하는 것은 필요한 인간 관련성 평가의 수 때문에 도전적입니다. 필요한 판단의 수를 최소화하기 위한 다양한 접근 방식이 제안되었으며, 여기에는 다중 팔 밴디트 최적화 기법에 기반한 방법들이 포함됩니다. 그러나 이러한 접근 방식의 대부분은 발견된 관련 문서의 총 수를 극대화하려고 하며, 이는 반드시 공정한 것은 아니고, 현재 존재하는 테스트 컬렉션에서만 시뮬레이션으로 입증되었습니다. TREC 2017 Common Core 트랙은 밴디트 방법을 사용하여 새로운 컬렉션을 구축할 기회를 제공했습니다. 이를 수행하기 위해서는 시뮬레이션에서 경험하지 못한 두 가지 문제를 해결해야 했습니다: 인간 평가자에게 주제를 학습할 시간을 제공하고 전체 평가 예산을 주제별로 할당하는 것이었습니다. 이로 인해 수정된 밴디트 기법을 사용하여 약 180만 개의 뉴스 기사, 50개의 주제 및 30,030개의 평가로 구성된 2017 Common Core 테스트 컬렉션이 구축되었습니다. 불행히도, 구축된 컬렉션의 품질은 예상보다 낮았습니다: 알려진 관련 문서의 큰 비율이 오직 한 팀에 의해 검색되었으며, 21개의 주제에서 평가된 문서의 3분의 1 이상이 관련 있었습니다. 따라서 이 컬렉션은 원하는 만큼 재사용 가능성이 낮습니다. 추가 분석은 대부분의 밴디트 방법에 공통적인 탐욕적 접근 방식이, 판단 예산이 (알려지지 않은) 관련 문서의 수에 비해 작을 때 컬렉션 구축 과정에 참여하는 실행에도 불공정할 수 있음을 보여줍니다.