RobotAnalyst를 활용한 체계적 리뷰를 위한 참고 문헌 우선순위 지정: 사용자 연구

참고 문헌 선별은 체계적 리뷰 및 가이드라인 개발에 필요하지만 시간이 많이 소요되는 단계입니다. 이전 연구들은 기계 학습 소프트웨어를 이용하여 대규모 참고 문헌 컬렉션의 우선순위를 정하면 대부분의 관련 참고 문헌을 스크리닝이 완료되기 전에 식별할 수 있다는 것을 보여주었습니다. 우리는 내용을 기반으로 참고 문헌을 정리하고 프로세스 전반에 걸쳐 훈련되고 업데이트된 관련성 분류 모델에 따라 적극적으로 우선순위를 지정하는 텍스트 마이닝 및 기계 학습 알고리즘을 결합한 웹 기반 소프트웨어 시스템인 RobotAnalyst를 설명하고 평가합니다. RobotAnalyst를 사용하여 스크리닝한 22개의 참고 문헌 컬렉션(대부분이 공공 건강 주제와 관련됨)에 대한 평가를 보고하며, 총 43,610개의 초록 수준 결정이 이루어졌습니다. 증거 검토를 위해 초록 수준 포함의 95%를 식별하는 데 필요한 참고 문헌 수는 22개 컬렉션 중 19개에서 감소했습니다. 적극적 우선순위를 사용한 모든 리뷰에서 무작위 샘플링에 비해 유의미한 개선을 보였으며, 우선순위 지정이 사용되지 않았을 때는 5개 중 2개만 그와 같은 결과가 나왔습니다. RobotAnalyst의 기술 군집 및 주제 모델링 기능도 공공 건강 분석가들에 의해 평가되었습니다. 기술 군집은 주제 모델링보다 더 일관된 구성을 제공하였으며, 클러스터의 내용은 다양한 클러스터 수에 걸쳐 사용자에게 명확하게 나타났습니다. 이는 기술 지원 스크리닝을 사용하여 새로운 리뷰를 수행한 첫 번째 대규모 연구이며, 긍정적인 결과는 RobotAnalyst가 관련 연구 식별을 가속화할 수 있다는 경험적 증거를 제공합니다. 결과는 또한 사용자 안일한 태도의 문제와 작업 절감을 실현하기 위한 중단 기준의 필요성을 강조합니다.