의료 영상 분류에서 ImageNet 사전 학습 딥 러닝 모델과 DINOv2의 비교 분석

의료 이미지 분석은 빈번하게 데이터 부족 문제에 직면합니다. 전이 학습은 이 문제를 해결하는 데 효과적이며 컴퓨팅 자원을 절약하는 데 기여합니다. 비전 트랜스포머 아키텍처를 사용하는 DINOv2와 같은 기초 모델의 최근 출현은 이 분야에서 새로운 기회를 열어주었고 큰 관심을 받았습니다. 그러나 DINOv2의 임상 데이터에 대한 성능은 아직 검증이 필요합니다. 본 논문에서는 세 가지 임상 모달리티의 뇌 MRI 데이터를 사용하여 교모세포종 등급 분류 작업을 수행했습니다. 우리는 전이 학습 맥락에서 ImageNet 및 DINOv2 기반의 다양한 사전 학습 딥 러닝 모델의 성능을 비교했습니다. 우리의 초점은 성능에 대한 고정 메커니즘의 영향을 이해하는 것이었습니다. 우리는 또한 가슴 방사선 사진, 망막 방사선 사진 및 피부검사라는 세 가지 유형의 공공 데이터셋에서 우리의 결과를 검증했습니다. 우리의 연구 결과에 따르면, 임상 데이터셋에서 DINOv2의 성능은 ImageNet 기반 사전 학습 모델보다 강하지 않았지만, 공공 데이터셋에서는 DINOv2가 일반적으로 다른 모델보다 더 우수한 성능을 보였으며, 특히 고정 메커니즘을 사용할 때 그러했습니다. 다양한 작업에서 여러 크기의 DINOv2 모델에서 유사한 성능이 관찰되었습니다. 요약하자면, DINOv2는 자연 이미지와 유사한 데이터에 대해 의료 영상 분류 작업에 적합하지만, MRI와 같이 자연 이미지와 크게 다른 데이터에서는 효과가 다를 수 있습니다. 또한 모델의 더 작은 버전을 사용하는 것도 의료 작업에 충분히 적합하며, 자원 절약의 이점을 제공합니다. 우리의 코드는 https://github.com/GuanghuiFU/medicalDINOv2ₑval에서 사용할 수 있습니다.