Adapting Multimodal Foundation Models for Pathology and Radiology: Few-shot Fine-tuning Across 11 Clinical Imaging Tasks

대규모 데이터로 사전 학습된 멀티모달 파운데이션 모델의 등장은 데이터 부족과 고비용 주석으로 인해 특정 과제 중심의 개발이 제한적인 의료 영상 분야에 새로운 가능성을 제시하고 있다. 본 연구에서는 UNICORN 벤치마크를 기반으로, 병리학 및 영상의학 영역에서 11개의 시각 기반 과제를 대상으로 파운데이션 모델의 few-shot fine-tuning(퓨샷 미세 조정) 전략을 체계적으로 탐구하였다. 제안된 프레임워크는 통합 백본(backbone) 모델에 경량화된 과제별 어댑터(adapter)를 결합하여 제한된 수의 라벨 예시(“shots”)만으로 각 과제를 학습하도록 설계하였다. 이를 통해 병리학 전장 슬라이드 영상(whole-slide image)과 CT, MRI와 같은 방사선학 영상에 걸쳐, 분류, 검출, 분할 등 다양한 임상 과제를 일관된 방식으로 평가하였다. 주요 과제에는 전립선 생검의 ISUP 등급 분류, 폐 결절 악성도 판별, 전립선 MRI에서의 임상적 중요 암 병변 검출, CT/MRI에서의 병변 및 해부학적 구조 분할 등이 포함된다. 실험 결과, 제안된 접근법은 소수의 주석 데이터만을 활용함에도 불구하고 기존 베이스라인과 비교해 우수한 성능을 달성하였다. 본 연구는 병리 및 영상의학의 다양한 임상 과제를 포괄하는 첫 종합적 파운데이션 모델 적응평가를 제시하며, 범용적 의료 AI 시스템의 실현 가능성에 대한 통찰을 제공하고 실제 임상 환경에서의 확장 가능한 적용 가능성을 모색한다.