최신 멀티모달 측면 기반 감정 분석을 위한 교차 모델 계층 상호작용 융합 네트워크

측면 기반 감정 분석 작업을 위한 전통적인 연구는 텍스트 모달리티에만 국한되어 있습니다. 그러나 소셜 미디어 상황에서는 텍스트가 종종 약어, 오타 또는 문법 오류를 포함하고 있어 전통적인 방법이 무효화됩니다. 본 연구에서는 이러한 문제를 해결하기 위해 엔드 투 엔드 접근 방식을 포함한 교차 모델 계층 상호작용 융합 네트워크를 제안합니다. 네트워크에서는 이미지 모달리티와 텍스트 모달리티 간의 멀티모달 상호작용 기능을 얻기 위해 특성 주의 모듈과 특성 융합 모듈을 제안합니다. 주의 메커니즘과 게이티드 융합 메커니즘을 통해 이 두 모듈은 텍스트 기반의 측면 기반 감정 분석 작업에서 이미지의 보조 기능을 실현합니다. 한편, 경계 보조 모듈은 측면 기반 감정 분석의 두 핵심 하위 작업 간의 의존성을 탐색하는 데 사용됩니다. 두 개의 공개적으로 이용 가능한 멀티모달 측면 기반 감정 데이터 세트에 대한 실험 결과는 제안된 접근 방식의 효과를 검증합니다.