비모수적 유retrieval 성능 비교의 유의성 테스트

다양한 회수 방법의 성능 차이를 분석할 때 통계 테스트가 드물게 적용된다는 것이 관찰되었습니다. 우리는 이것이 주제의 복잡성과 오해의 소지가 있는 결론을 피하고자 하는 욕구에서 설명된다고 믿습니다. 실용적인 회수 방법은 단순 모델로 설명될 수 없기 때문에, 일반적으로 모수적 통계 테스트는 적합하지 않습니다. 일부 비모수적 테스트는 요구되는 작업에 부적절해 보이는 귀무 가설의 대칭성을 요구합니다. 두 번째 클래스의 비모수적 테스트는 부트스트랩 방법을 포함합니다. 여기에서 귀무 가설은 실용적인 테스트에 적합해 보이지만, 부트스트랩 가정(샘플이 전체 모집단을 충분히 나타낼 수 있다는 가정)은 의문이 제기될 수 있습니다. 부트스트랩 가정이 거짓이면 잘못된 결론(type I 또는 type II 오류)에 이를 수 있습니다. 여기에서는 실용적인 회수 시스템의 동작을 근사하는 수학적 모델을 사용하여, 실제로 사용되는 테스트 세트를 기반으로 한 성능 비교에서 부트스트랩 방법이 잘 수행됨을 보여줍니다. 유형 I 오류는 적절하게 예측 가능하며, 이론상 가장 강력한 테스트와 비교할 때 테스트의 파워 손실은 10퍼센트 포인트를 초과하지 않을 수 있습니다. 우리는 부트스트랩 방법이 회수 성능 분석 분야에서 통계 테스트에 대한 실용적인 접근을 제공한다고 결론짓습니다.