CFN-ESA: Uma Rede de Fusão Cross-Modal com Consciência de Mudança Emocional para Reconhecimento de Emoções em Diálogo

O reconhecimento de emoções multimodal na conversa (ERC) tem ganhado crescente atenção das comunidades de pesquisa em vários campos. Neste artigo, propomos uma Rede de Fusão Crossmodal com Consciência de Mudança Emocional (CFN-ESA) para ERC. As abordagens existentes utilizam cada modalidade igualmente, sem distinguir a quantidade de informação emocional nessas modalidades, tornando difícil extrair adequadamente informações complementares de dados multimodais. Para lidar com esse problema, no CFN-ESA, tratamos a modalidade textual como a principal fonte de informação emocional, enquanto as modalidades visual e acústica são consideradas fontes secundárias. Além disso, a maioria dos modelos multimodais de ERC ignora informações de mudança emocional e se concentra em demasia nas informações contextuais, levando à falha de reconhecimento de emoções em cenários de mudança emocional. Elaboramos um módulo de mudança emocional para enfrentar esse desafio. O CFN-ESA consiste principalmente em um codificador unimodal (RUME), um codificador cross-modal (ACME) e um módulo de mudança emocional (LESM). O RUME é aplicado para extrair pistas emocionais contextuais em nível de conversa, enquanto reúne distribuições de dados entre modalidades; o ACME é utilizado para realizar interação multimodal centrada na modalidade textual; o LESM é usado para modelar a mudança emocional e capturar informações de mudança emocional, guiando assim o aprendizado da tarefa principal. Resultados experimentais demonstram que o CFN-ESA pode efetivamente promover o desempenho para ERC e supera notavelmente modelos de ponta.