과학 텍스트 분류를 위한 BERT-Base 모델 조사: COVID-19 사례 연구

2020년 1월 30일 세계 보건 기구는 새로운 코로나바이러스를 발표했으며, 이는 나중에 매우 위험하다는 것이 밝혀졌습니다. 그 이후로 COVID-19는 팬데믹으로 확산되어 현재 세계의 사실상 모든 지역에 영향을 미쳤습니다. 그 이후로 의학 분야의 많은 연구자들이 COVID-19와의 싸움에 기여해 왔습니다. 이러한 맥락에서 이 글로벌 팬데믹과 관련된 과학 출판물이 크게 증가함에 따라, 수동 텍스트 및 데이터 검색은 도전적인 작업이 되었습니다. 이러한 도전을 해결하기 위해, 우리는 문헌 리뷰 프로세스를 자동화하기 위해 BERT 모델을 기반으로 한 사전 훈련된 언어 모델인 CovBERT를 제안합니다. CovBERT는 생물 의학 분야의 방대한 과학 출판물의 큰 말뭉치에 대한 사전 훈련에 의존하여 문헌 리뷰 작업의 성능을 향상시킵니다. 우리는 COVID-19에 관한 생물 의학 기사의 과학 데이터 세트인 COV-Dat-20을 바탕으로 짧은 텍스트의 분류에서 CovBERT를 평가합니다. 우리는 BERT를 사용하여 통계적으로 유의미한 개선을 보여줍니다.