그래프 합성 기반 분리 및 일관성 중심 융합을 통한 다중 모달 감정 인식

다중 모달 감정 인식(MER)은 음성, 텍스트 및 비디오와 같은 다양한 출처에서 인간의 감정을 이해하는 데 필수적입니다. 그러나 모달리티 이질성과 일관되지 않은 표현은 효과적인 특징 융합에 도전 과제가 됩니다. 이를 해결하기 위해, 우리는 특징 분리를 위한 동적 가중 그래프 합성 네트워크(DW-GCN)와 견고한 통합을 위한 교차-주의 일관성-게이트 융합(CACG-Fusion) 모듈을 결합한 새로운 MER 프레임워크를 제안합니다. DW-GCN은 복잡한 다중 모달 간 관계를 모델링하여 공통 특징과 개인적 특징 모두를 추출할 수 있게 합니다. CACG-Fusion 모듈은 이후 교차 모달 단서의 동적 정렬을 통해 분류 성능을 향상시키며, 주의 기반의 조정 및 일관성 유지 게이팅 메커니즘을 사용하여 특징 통합을 최적화합니다. CMU-MOSI 및 CMU-MOSEI 데이터셋에 대한 실험 결과, 우리 방법이 최첨단 성능을 발휘하며, ACC7, ACC2 및 F1 점수를 유의미하게 향상시킴을 보여줍니다.