기능 다양성 향상이 채널 적응형 비전 트랜스포머를 향상시킵니다

다중 채널 이미징(MCI)은 전통적인 이미지에 존재하지 않는 유용한 특징 표현을 인코딩하는 데 있어 여러 가지 도전 과제를 포함합니다. 예를 들어, 두 개의 서로 다른 위성에서 촬영한 이미지는 모두 RGB 채널을 포함할 수 있지만, 나머지 채널은 각 이미징 소스마다 다를 수 있습니다. 따라서 MCI 모델은 테스트 시 다양한 채널 구성을 지원해야 합니다. 최근의 연구는 픽셀 정보를 채널 구성 정보를 나타내는 인코딩으로 보완하여 MCI를 위한 전통적인 시각 인코더(예: 비전 트랜스포머(ViT))를 확장했습니다. 그러나 이러한 방법은 각 채널을 동등하게 처리하며, 즉 각 채널 유형의 고유한 속성을 고려하지 않아 학습된 특징에서 불필요하고 잠재적으로 해로운 중복이 발생할 수 있습니다. 예를 들어, RGB 채널이 항상 존재한다면 다른 채널은 RGB 채널로 캡처할 수 없는 정보를 추출하는 데 집중할 수 있습니다. 이를 위해 우리는 MCI-ViT 모델의 학습된 특징의 다양성을 향상시키기 위한 DiChaViT를 제안합니다. 이는 훈련을 위해 더 뚜렷한 채널 집합 선택을 장려하는 새로운 채널 샘플링 전략을 통해 이루어집니다. 또한, 각 채널에서 새로운 정보가 학습될 가능성을 높이기 위해 정규화 및 초기화 기술을 사용합니다. 우리의 많은 개선 사항은 아키텍처 무관하며 새로운 아키텍처가 개발될 때 통합될 수 있습니다. 위성 및 세포 현미경 데이터 세트(CHAMMI, JUMP-CP, So2Sat)에 대한 실험 결과, DiChaViT는 최첨단 기술보다 1.5-5.0% 향상이 있음을 보고했습니다.