전체 슬라이드 표현 학습을 위한 자기 지도 학습 프레임워크

전체 슬라이드 이미징은 생물 의학 현미경 및 컴퓨터 병리학에 필수적입니다. 그러나 전체 슬라이드 이미지(WSI)는 기가픽셀 크기, 다양한 조직병리학적 특징, 공간 이질성 및 제한/부재 데이터 주석으로 인해 복잡한 컴퓨터 비전 과제를 제공합니다. 이러한 문제들은 감독 학습만으로는 최적의 전체 슬라이드 표현을 얻기 어렵다는 점을 강조합니다. 자기 지도 표현 학습은 암 진단이나 분자 유전 예측과 같은 다운스트림 진단 작업을 위해 고품질 WSI 시각적 특성 학습을 달성할 수 있습니다. 여기에서는 WSI의 기가픽셀 규모 자기 감독을 위한 일반적인 자기 지도 전체 슬라이드 학습(S3L) 프레임워크를 제시합니다. S3L은 변환기 기반 비전 및 언어 모델링의 데이터 변환 전략을 단일 통합 프레임워크로 결합하여 자기 감독을 위한 짝진 뷰를 생성합니다. S3L은 WSI 내의 고유한 지역 이질성, 조직학적 특성 변동성 및 정보 중복성을 활용하여 고품질 전체 슬라이드 표현을 학습합니다. 우리는 S3L의 시각적 표현을 두 가지 생물 의학 현미경 모달리티에 대한 두 가지 진단 작업에서 벤치마킹합니다. S3L은 암 진단 및 유전적 돌연변이 예측을 위한 WSI 기준선에 비해 유의미한 향상을 보여줍니다. 또한, S3L은 도메인 내 및 분포 외 패치 인코더를 모두 사용하여 좋은 성능을 달성하여 유연성과 일반화 능력을 입증합니다.