고해상 원거리 감지 이미지의 교차 도메인 의미 분할을 위한 생물 영감을 받은 시각 인식 변환기

매우 고해상 이미지의 픽셀 수준 분류는 원거리 감지에서 중요한 그러나 도전적인 작업입니다. 변환기가 의존성을 포착하는 데 효과적임을 입증했지만, 이미지를 패치로 분할하는 경향은 매우 상세한 원거리 감지 이미지에 대한 적용 가능성을 제한할 수 있습니다. 고해상 원거리 감지 이미지에서 잠재적인 맥락 의미 정보를 추출하기 위해 시각적 지각 주의를 사용하는 시선-과제 변환기(GSV-Trans)를 제안하였습니다. GSV-Trans는 이미지의 의미 복잡성에 따라 동적으로 계산 리소스를 할당하는 시각적 지각 주의(VPA) 메커니즘을 통합합니다. VPA 메커니즘은 시선 주의와 안구 움직임 주의를 모두 포함하여 모델이 이미지의 가장 중요한 부분에 집중하고 경쟁력 있는 의미 정보를 획득할 수 있도록 합니다. 또한, 이미지의 다양한 수준에서 맥락 의미 정보를 포착하기 위해 주의 할당을 안내하는 양방향 친화력 전파를 사용하는 계층 간 단기 시각 메모리 모듈을 설계하였습니다. 나아가, 시선과 과제를 모두 포함하는 픽셀 수준 및 카테고리 수준 의미 제약을 부과하는 이중 가지 의사 레이블 모듈(DBPL)을 도입하였습니다. DBPL은 모델이 도메인 불변 피처를 추출하고 특징 공간에서 서로 다른 도메인 간 의미 정보를 정렬하도록 독려합니다. 여러 픽셀 수준 분류 벤치마크에 대한 광범위한 실험 결과는 우리의 방법이 최첨단 기술 대비 효과적이고 우수함을 확인합니다.