Uma Abordagem de Reconhecimento de Emoções Audiovisuais Combinando Regras e Aprendizado de Máquina

Este artigo propõe um sistema de reconhecimento de emoções audiovisuais que utiliza uma mistura de técnicas baseadas em regras e aprendizado de máquina para melhorar a eficácia de reconhecimento nos caminhos de áudio e vídeo. O caminho visual é projetado usando a Análise de Componentes Principais Bidirecional (BDPCA) e Análise Discriminante Linear dos Mínimos Quadrados (LSLDA) para redução de dimensionalidade e discriminação. As características visuais extraídas são enviadas para um classificador neural recém-projetado de Função de Base Radial Laplaciana Otimizada (OKL-RBF). O caminho de áudio é projetado usando uma combinação de características prosódicas de entrada (altura, log-energia, taxas de cruzamento por zero e operador de energia de Teager) e características espectrais (coeficientes cepstrais de frequência na escala Mel). As características de áudio extraídas são passadas para um módulo de fusão de nível de características de áudio que utiliza um conjunto de regras para determinar a emoção mais provável contida no sinal de áudio. Um módulo de fusão audiovisual combina as saídas de ambos os caminhos. As performances do caminho de áudio proposto, do caminho visual e do sistema final são avaliadas em bancos de dados padrão. Resultados de experimentos e comparações revelam o bom desempenho do sistema proposto.