모드 인식 주의 네트워크 및 경쟁 학습을 이용한 RGB-T 비디오의 객체 추적

RGB-열화상(RGB-T) 비디오에서의 객체 추적은 이중 모드 이미징 시스템의 모든 기상 및 하루 종일 작업 가능성과 저비용으로 소형화된 적외선 카메라 기술의 급속한 발전 덕분에 여러 분야에서 점점 더 많이 사용되고 있습니다. 그러나 이중 모드 정보를 효과적으로 융합하여 견고한 RGB-T 추적기를 구축하는 것은 여전히 매우 도전적입니다. 본 논문에서는 모드 인식 주의 네트워크 및 경쟁 학습(MaCNet)을 기반으로 한 RGB-T 객체 추적 알고리즘을 제안합니다. 이 알고리즘은 특징 추출 네트워크, 모드 인식 주의 네트워크 및 분류 네트워크를 포함합니다. 특징 추출 네트워크는 두 개의 스트림 네트워크 형식을 채택하여 각 모드 이미지에서 특징을 추출합니다. 모드 인식 주의 네트워크는 원본 데이터를 통합하고, 서로 다른 특징 레이어의 중요성을 특징짓는 주의 모델을 설정한 후, 특징 융합을 안내하여 모드 간의 정보 상호 작용을 강화합니다. 분류 네트워크는 각각 RGB 분기, 열 적외선 분기 및 융합 분기에서 작동하는 세 개의 병렬 이진 분류기를 통해 모드 자기 중심 손실 함수를 구성합니다. 경쟁 학습의 훈련 전략에 의해 안내받아, 전체 네트워크는 이중 모드의 최적 융합 방향으로 미세 조정됩니다. 여러 공개 RGB-T 데이터 세트에 대한 광범위한 실험 결과, 우리의 추적기는 다른 최신 RGB-T 및 RGB 추적 접근 방식에 비해 우수한 성능을 보입니다.