Key points are not available for this paper at this time.
다중 모달 감정 인식(MMER)은 여러 감각 모달리티를 융합하여 인간의 감정을 정확하게 인식하는 것을 목표로 하는 활발한 연구 분야입니다. 그러나 모달리티 간의 고유한 이질성은 분포 간격과 정보 중복을 초래하여 MMER에 상당한 도전을 안겨줍니다. 본 논문에서는 이러한 도전에 대응하기 위해 새로운 미세 분리 표현 학습(FDRL) 프레임워크를 제안합니다. 구체적으로, 각 모달리티를 모달리티 공유 및 모달리티 사적 하위 공간으로 사영하기 위해 모달리티 공유 및 모달리티 사적 인코더를 설계합니다. 공유 하위 공간에서는 모달 일관성을 포착하기 위해 모달리티 공유 표현을 학습하는 미세 조정 정렬 구성 요소를 도입합니다. 이어서, 개인 하위 공간을 제한하기 위해 미세 분리 구성 요소를 조정하여 모달리티 사적 표현을 학습하고 그 다양성을 향상시킵니다. 마지막으로, 인코더의 출력 표현 라벨이 변하지 않도록 보장하기 위해 미세 분리 예측기 구성 요소를 도입합니다. IEMOCAP 데이터셋에 대한 실험 결과, FDRL이 최첨단 방법들을 능가하여 WAR와 UAR에서 각각 78.34%와 79.44%를 달성함을 보였습니다.
Sun et al. (Mon,)은 이 질문을 연구했습니다.