Amélioration de la reconnaissance multimodale des émotions basée sur un réseau multi-échelle bi-directionnel conscient du temps et des mécanismes d'attention multi-têtes

La reconnaissance des émotions est un domaine de recherche crucial dans le traitement du langage naturel (NLP), visant à identifier des états émotionnels tels que le bonheur, la colère et la tristesse à partir de diverses sources telles que la parole, le texte et les expressions faciales. Dans cet article, nous proposons une méthode améliorée de reconnaissance multimodale des émotions (MMER) utilisant TIM-Net (Réseau Multi-Échelle Bi-Directionnel Conscient du Temps) et des mécanismes d'attention. Tout d'abord, nous introduisons les méthodes d'extraction et de fusion des caractéristiques multimodales. Ensuite, nous présentons TIM-Net et les mécanismes d'attention, qui sont utilisés pour améliorer l'algorithme MMER. Nous évaluons notre approche sur les ensembles de données IEMOCAP et MELD, et comparée aux méthodes existantes, notre approche démontre une performance supérieure. Le rappel pondéré de précision (WAR) sur l'ensemble de données IEMOCAP est de 83,9 %, et le taux de rappel pondéré de précision sur l'ensemble de données MELD est de 62,7 %. Enfin, l'impact du modèle TIM-Net et du mécanisme d'attention sur la performance de reconnaissance des émotions est davantage examiné à travers des expériences d'ablation.