Explorando Representaciones Espacio-Temporales al Integrar Redes Neuronales Recurrentes Bidireccionales LSTM Basadas en Atención y Redes Neuronales Convolucionales Totales para el Reconocimiento de Emociones en el Habla

El reconocimiento automático de emociones en el habla, que es una tarea importante y desafiante en el campo de la computación afectiva, depende en gran medida de la efectividad de las características del habla para la clasificación. Los enfoques anteriores para el reconocimiento de emociones se han centrado principalmente en la extracción de características cuidadosamente diseñadas a mano. Cómo modelar dinámicas espacio-temporales para el reconocimiento de emociones en el habla de manera efectiva sigue bajo investigación activa. En este artículo, proponemos un método para abordar el problema de la extracción de características emocionalmente relevantes del habla aprovechando Redes Neuronales Recurrentes Bidireccionales de Memoria a Largo Plazo Basadas en Atención con redes neuronales convolucionales totalmente conectadas para aprender automáticamente las mejores representaciones espacio-temporales de las señales de habla. Las características de alto nivel aprendidas se introducen luego en una red neuronal profunda (DNN) para predecir la emoción final. Los resultados experimentales en la Base de Datos de Emoción Audiovisual Natural China (CHEAVD) y en los corpus de Captura de Movimiento Emocional Interactivo Diádico (IEMOCAP) muestran que nuestro método proporciona predicciones más precisas en comparación con otros algoritmos de reconocimiento de emociones existentes.