Análise de Sinais de EEG e Expressões Faciais para Detecção Contínua de Emoções

Emoções são fenômenos afetivos que variam ao longo do tempo e são provocados como resultado de estímulos. Vídeos e filmes, em particular, são feitos para suscitar emoções em seu público. Detectar as emoções dos espectadores instantaneamente pode ser usado para encontrar os traços emocionais dos vídeos. Neste artigo, apresentamos nossa abordagem para detectar instantaneamente as emoções dos espectadores de vídeos a partir de sinais de eletroencefalograma (EEG) e expressões faciais. Um conjunto de vídeos que induzem emoção foi mostrado aos participantes enquanto suas expressões faciais e respostas fisiológicas foram registradas. A valência expressa (emoções negativas a positivas) nos vídeos das faces dos participantes foi anotada por cinco anotadores. Os vídeos estímulo foram também continuamente anotados nas dimensões de valência e excitação. Redes neurais recorrentes de memória de longo e curto prazo (LSTM-RNN) e campos aleatórios condicionais contínuos (CCRF) foram utilizados para detectar emoções de forma automática e contínua. Constatamos que os resultados das expressões faciais foram superiores aos resultados dos sinais de EEG. Analisamos o efeito da contaminação das atividades musculares faciais nos sinais de EEG e descobrimos que a maior parte do conteúdo emocionalmente valioso nas características de EEG é resultado dessa contaminação. No entanto, nossa análise estatística mostrou que os sinais de EEG ainda carregam informações complementares na presença de expressões faciais.