이미지 특정 미세 조정을 통한 심층 학습 기반의 상호 작용적 의료 이미지 분할

합성곱 신경망(CNNs)은 자동 의료 이미지 분할에 대해 최첨단 성능을 달성했습니다. 그러나 임상 사용을 위한 충분히 정확하고 강력한 결과를 보여주지는 못했습니다. 또한, 이미지 특정 적응의 부족과 이전에 보지 못한 객체 클래스에 대한 일반화 부족(즉, 제로샷 학습)으로 제한됩니다. 이러한 문제를 해결하기 위해 우리는 CNN을 바운딩 박스 및 스크리블 기반 분할 파이프라인에 통합한 새로운 심층 학습 기반 상호 작용 분할 프레임워크를 제안합니다. 우리는 CNN 모델이 특정 테스트 이미지에 적응하도록 만드는 이미지 특정 미세 조정을 제안하며, 이는 비지도(추가 사용자 상호 작용 없이) 또는 지도(추가 스크리블과 함께)일 수 있습니다. 우리는 또한 미세 조정을 위해 네트워크 및 상호 작용 기반 불확실성을 고려하는 가중 손실 함수를 제안합니다. 우리는 이 프레임워크를 두 가지 애플리케이션에 적용했습니다: 태아 자기 공명(MR) 슬라이스에서 여러 장기의 2-D 분할, 여기서 이 장기 중 두 가지 유형만 훈련을 위해 주석이 달렸고, 다른 MR 시퀀스에서 뇌 종양 중심(부종 제외) 및 전체 뇌 종양(부종 포함)의 3-D 분할, 여기서 한 MR 시퀀스에서 종양 중심만 훈련을 위해 주석이 달렸습니다. 실험 결과는 다음과 같습니다: 1) 우리의 모델이 최첨단 CNN보다 이전에 보지 못한 객체를 분할하는 데 더 강력하다; 2) 제안된 가중 손실 함수를 사용한 이미지 특정 미세 조정이 분할 정확도를 크게 향상시킨다; 3) 우리의 방법이 전통적인 상호 작용 분할 방법보다 적은 사용자 상호 작용과 적은 사용자 시간을 요구하면서도 정확한 결과를 얻습니다.