Reconnaissance des émotions dans la parole avec des caractéristiques acoustiques et lexicales

Dans cet article, nous explorons l'un des aspects clés de la construction d'un système de reconnaissance des émotions : la génération de représentations de caractéristiques appropriées. Nous générons des représentations de caractéristiques à partir de niveaux acoustiques et lexicaux. Au niveau acoustique, nous extrayons d'abord des caractéristiques de bas niveau telles que l'intensité, F0, le jitter, le shimmer et les contours spectraux, etc. Nous générons ensuite différentes représentations de caractéristiques acoustiques basées sur ces caractéristiques de bas niveau, y compris des statistiques sur ces caractéristiques, une nouvelle représentation dérivée d'un ensemble de mots-code acoustiques de bas niveau, et une nouvelle représentation à partir de Supervecteurs de Gaussien. Au niveau lexical, nous proposons une nouvelle représentation de caractéristiques appelée vecteur émotionnel (eVector). Nous utilisons également la représentation traditionnelle Bag-of-Words (BoW). Nous appliquons ces représentations de caractéristiques pour la reconnaissance des émotions et comparons leurs performances sur la base de données USC-IEMOCAP. Nous combinons également ces différentes représentations de caractéristiques via fusion précoce et fusion tardive. Nos résultats expérimentaux montrent que la fusion tardive des caractéristiques acoustiques et lexicales atteint une précision de reconnaissance des émotions à quatre classes de 69,2 %.