임상-BERT: 방사선 진단 및 보고서 생성을 위한 비전-언어 프리 트레이닝

본 논문에서는 의료 분야를 위한 비전-언어 프리 트레이닝 모델인 Clinical-BERT를 제안하고, 임상 진단 (CD), 마스킹된 MeSH 모델링 (MMM), 이미지-MeSH 매칭 (IMM)이라는 세 가지 도메인 특화 작업과 하나의 일반 프리 트레이닝 작업인 마스킹된 언어 모델링 (MLM)을 설계하여 모델을 프리 트레이닝합니다. CD 작업은 방사선 사진에서 질병을 예측하여 모델이 의료 도메인 지식을 학습하도록 돕습니다. 의료 주제 헤딩(MeSH) 단어는 방사선 보고서에서 중요한 의미적 구성 요소이며, MMM 작업은 모델이 MeSH 단어 예측에 집중하도록 도와줍니다. IMM 작업은 두 수준의 희소 주의(영역 희소 주의 및 단어 희소 주의)를 통해 얻은 점수를 매칭하여 MeSH 단어와 방사선 사진의 정렬을 학습하도록 모델을 돕습니다. 영역 희소 주의는 각 단어에 대한 대응하는 시각적 특징을 생성하고, 단어 희소 주의는 이미지-MeSH 매칭의 기여를 강화하여 매칭 점수에 영향을 줍니다. 우리가 아는 한, 이는 의료 도메인에 대한 프리 트레이닝 동안 도메인 지식을 학습하려는 첫 번째 시도입니다. 우리는 MIMIC-CXR, IU X-Ray, COV-CTR 및 NIH이라는 네 가지 도전적인 데이터 세트에서 방사선 진단 및 보고서 생성 작업에 대해 프리 트레이닝 모델을 평가하고, 모든 작업에서 최첨단 결과를 달성하여 우리의 프리 트레이닝 모델의 효과성을 입증합니다.