Uma abordagem multitarefa para a percepção contínua de afeto em cinco dimensões na fala natural

O reconhecimento automático de afeto é importante para a capacidade dos futuros sistemas tecnológicos de interagir conosco socialmente de maneira inteligente, compreendendo nosso estado afetivo atual. Nos últimos anos, houve uma mudança no campo do reconhecimento de afeto de experimentos “em laboratório” com dados encenados para experimentos “no mundo real” com dados espontâneos e naturalísticos. Duas questões principais são a segmentação adequada da entrada e a descrição e modelagem adequadas dos estados afetivos. A primeira questão é crucial para sistemas responsivos em tempo real, como agentes virtuais e robôs, onde a latência da análise deve ser o menor possível. Para abordar essa questão, introduzimos um novo método de segmentação incremental a ser usado em combinação com modelagem supra-segmental. Para a modelagem de estados afetivos contínuos, usamos Redes Neurais Recorrentes de Memória de Longo e Curto Prazo, com as quais podemos mostrar uma melhoria no desempenho em relação às redes neurais recorrentes padrão e redes neurais feed-forward, além de Regressão por Vetores de Suporte. Para os experimentos, usamos o banco de dados SEMAINE, que contém gravações de conversas espontâneas e naturais entre humanos e Wizard-of-Oz. As gravações são anotadas continuamente em tempo e magnitude com FeelTrace para cinco dimensões afetivas, a saber, ativação, expectativa, intensidade, poder/dominância e valência. Para explorar as dependências entre as cinco dimensões afetivas, investigamos o aprendizado multitarefa de todas as cinco dimensões, complementado com o desvio padrão entre avaliadores. Podemos mostrar melhorias para a modelagem multitarefa em relação à modelagem de tarefa única. Coeficientes de correlação de até 0,81 foram obtidos para a dimensão de ativação e até 0,58 para a dimensão de valência. O desempenho das dimensões restantes foi encontrado entre o de ativação e valência.