PubMedQA: 생물 의학 연구 질문 응답을 위한 데이터셋

우리는 PubMed 추상에서 수집된 새로운 생물 의학 질문 응답(QA) 데이터셋인 PubMedQA를 소개합니다. PubMedQA의 작업은 해당 추상을 사용하여 연구 질문에 대해 예/아니오/아마도 (예: 심장 우회 수술 후 수술 전 스타틴이 심방세동을 줄이나요?)로 대답하는 것입니다. PubMedQA에는 1k 전문가 주석, 61.2k 레이블이 없는 인스턴스 및 211.3k 인위적으로 생성된 QA 인스턴스가 포함되어 있습니다. 각 PubMedQA 인스턴스는 (1) 기존 연구 기사 제목이거나 그에서 파생된 질문, (2) 결론이 없는 해당 추상, (3) 추상의 결론이며 아마도 연구 질문에 답하는 긴 답변, (4) 결론을 요약하는 예/아니오/아마도 답변으로 구성됩니다. PubMedQA는 생물 의학 연구 텍스트, 특히 정량적 내용에 대해 추론이 필요하여 질문에 답하는 첫 번째 QA 데이터셋입니다. 우리의 최상의 모델인 BioBERT의 다단계 세부 조정과 긴 답변의 단어 통계가 추가 감독으로 사용되어 68.1% 정확도를 달성하며, 단일 인간 성능 78.0%와 대부분 기준 55.2%에 비해 개선의 여지가 많습니다. PubMedQA는 https://pubmedqa.github.io에서 공개적으로 이용 가능합니다.