의미 레이블링을 위한 완전 합성곱 네트워크에서 다중 모달 원격 감지 데이터의 효과적인 융합

최근 몇 년간, 완전 합성곱 네트워크(FCN)는 다중 모달 원격 감지 데이터를 포함한 다양한 응용 분야에서 의미 레이블링의 큰 향상을 가져왔습니다. 다중 모달 데이터에 대한 다양한 융합 전략이 보고되었지만, 성능 한계의 원인에 대한 심층 연구는 없습니다. 예를 들어, FCN에서 다중 모달 데이터의 조기 융합이 만족스러운 결과를 이끌지 않는 이유는 불분명합니다. 본 논문에서는 FCN 내부 개별 층의 기여를 조사하고 색상 또는 적외선 이미지와 고도(예: 디지털 표면 모델)의 의미 레이블링을 위한 효과적인 융합 전략을 제안합니다. 클래스 및 다중 모달 데이터와 관련한 층의 민감도와 기여도는 다중 해상도 모델에서 재현율과 재현율의 하강 속도로 정량화됩니다. 픽셀 수준 예측에 대한 다양한 모달리티의 기여는 편직 합치기로 인한 불량 성능의 원인을 설명하는 방식으로 분석됩니다. 마지막으로, 분석을 바탕으로 이미지와 고도 정보를 단일 FCN 모델로 통합하는 최적화된 층 융합 방안이 도출됩니다. ISPRS Vaihingen 2D 의미 레이블링 데이터셋(적외선 및 RGB 이미지 및 고도) 및 포츠담 데이터셋(RGB 이미지 및 고도)에서 실험이 수행됩니다. 종합적인 평가를 통해 제안된 접근 방식의 가능성이 입증됩니다.