Head Fusion: Verbesserung der Genauigkeit und Robustheit der Emotionserkennung in Sprache anhand des IEMOCAP- und RAVDESS-Datensatzes

Die Emotionserkennung in Sprache (SER) bezieht sich auf die Verwendung von Maschinen zur Erkennung der Emotionen eines Sprechers aus seiner (oder ihrer) Sprache. SER kommt der Mensch-Computer-Interaktion (HCI) zugute. Es gibt jedoch weiterhin viele Probleme in der SER-Forschung, z.B. den Mangel an hochwertigen Daten, unzureichende Modellgenauigkeit, wenig Forschung unter lauten Umgebungen usw. In diesem Papier schlagen wir eine Methode namens Head Fusion vor, die auf dem Multi-Head-Attention-Mechanismus basiert, um die Genauigkeit der SER zu verbessern. Wir haben ein auf Aufmerksamkeit basierendes Convolutional Neural Network (ACNN) Modell implementiert und Experimente mit dem Interactive Emotional Dyadic Motion Capture (IEMOCAP) Datensatz durchgeführt. Die Genauigkeit wurde auf 76,18 % (gewichtete Genauigkeit, WA) und 76,36 % (ungewichtete Genauigkeit, UA) verbessert. Soweit wir wissen, haben wir im Vergleich zu den neuesten Ergebnissen auf diesem Datensatz (76,4 % WA und 70,1 % WA) eine UA-Verbesserung von etwa 6 % absolut erreicht, während wir eine ähnliche WA erzielt haben. Darüber hinaus haben wir empirische Experimente durchgeführt, indem wir Sprachdaten mit 50 Arten von häufigen Geräuschen injiziert haben. Wir haben die Geräusche injiziert, indem wir die Geräuschintensität verändert, die Geräusche zeitlich verschoben und verschiedene Geräuscharten vermischt haben, um ihre unterschiedlichen Auswirkungen auf die SER-Genauigkeit zu identifizieren und die Robustheit unseres Modells zu überprüfen. Diese Arbeit wird auch Forschern und Ingenieuren helfen, ihre Trainingsdaten ordnungsgemäß zu ergänzen, indem sie Sprachdaten mit den entsprechenden Arten von Geräuschen verwenden, um das Problem mangelnder hochwertiger Daten zu lindern.