체계적 검토에서 자동 스크리닝을 위한 통계적 중지 기준

체계적 검토 스크리닝을 위한 능동적 학습은 체계적 검토를 위해 관련 문서를 식별하는 데 필요한 인간의 노력을 줄일 것이라고 약속합니다. 기계와 인간이 함께 작업하며, 인간이 훈련 데이터를 제공하고 기계는 인간이 스크리닝하는 문서를 최적화합니다. 이를 통해 전체 문서의 일부만 살펴본 후에도 모든 관련 문서를 식별할 수 있습니다. 그러나 현재 접근 방식은 강력한 중지 기준이 부족하여 검토자가 모든 관련 문서 또는 특정 비율의 관련 문서를 보았는지 여부를 알 수 없습니다. 이는 이러한 시스템들이 실제 검토에서 구현하기 어렵다는 것을 의미합니다. 본 논문은 주어진 신뢰 수준에서 주어진 회상 목표를 놓쳤다는 가설을 기각하는 기반으로 실제 작업 감소를 제공하는 유연한 통계적 중지 기준을 갖춘 워크플로우를 소개합니다. 중지 기준은 테스트 데이터 세트에서 신뢰할 수 있는 회수 수준을 달성하는 동시에 평균 17%의 작업 감소를 제공하는 것으로 나타났습니다. 이전에 제안된 다른 방법은 데이터 세트에 따라 일관되지 않은 회수 및 작업 감소를 제공합니다.