RL-EMO: 다중 모달 감정 인식을 위한 강화 학습 프레임워크

대화에서의 다중 모달 감정 인식(ERC)은 다양한 분야에서의 폭넓은 응용으로 인해 많은 주목을 받고 있습니다. 그러나 대부분의 이전 접근법은 의미 수준에서의 맥락 모델링에 초점을 맞추어 감정 수준에서의 의존 정보 맥락은 간과했습니다. 본 논문에서는 의미적 및 감정적 수준에서 각각 맥락을 모델링하기 위해 다중 모달 그래프 합성곱 신경망(MMGCN) 모듈과 새로운 강화 학습(RL) 모듈을 결합한 다중 모달 EMOtion 인식 작업을 위한 혁신적인 강화 학습 프레임워크인 RL-EMO를 제안합니다. RL-EMO 접근법은 널리 사용되는 두 개의 다중 모달 데이터셋인 IEMOCAP과 MELD에서 평가되었으며, 결과는 RL-EMO가 여러 기준 모델을 능가하고 F1 점수에서 유의미한 개선을 달성했음을 보여줍니다. 우리는 코드를 https://github.com/zyh9929/RL-EMO에서 공개합니다.