비디오에서의 다중 모드 감정 강도 분석: 얼굴 제스처와 언어 메시지

사람들은 매일 온라인 비디오 공유 웹사이트를 통해 의견, 이야기 및 리뷰를 공유합니다. 이러한 온라인 의견 비디오의 자동 분석은 계산 언어학 및 다중 모드 분석 분야에 새로운 또는 충분히 연구되지 않은 과제를 가져오고 있습니다. 이러한 과제 중 하나는 감정을 더 잘 모델링하기 위해 시각적 제스처와 언어 메시지 간의 동역학을 활용하는 기본적인 질문입니다. 이 기사는 다음 네 가지 방법으로 이 질문을 다룹니다: 의견 수준의 감정 강도 주석이 포함된 첫 번째 다중 모드 데이터 세트를 소개하고; 감정 강도를 추론할 때 얼굴 제스처와 발화된 단어 간의 전형적인 상호작용 패턴을 연구하고; 언어-제스처 연구를 기반으로 한 새로운 계산 표현인 다중 모드 사전을 제안하고; 감정 강도 예측을 위한 화자 독립 패러다임에서 저자들이 제안한 접근 방식을 평가합니다. 저자들의 연구는 얼굴 제스처와 언어 콘텐츠 간의 네 가지 상호작용 유형: 중립, 강조, 긍정 및 부정 상호작용을 식별합니다. 실험 결과는 전통적인 초기 융합 표현(즉, 특징 연결)보다 다중 모드 사전 표현을 사용할 때 통계적으로 유의미한 개선을 보여줍니다.