Die Emotionserkennung bleibt eine herausfordernde Aufgabe in der Mensch-Computer-Interaktion. Mit den Fortschritten im multimodalen Rechnen hat die multimodale Emotionserkennung zunehmend an Bedeutung und Bedeutung gewonnen. Um die bestehenden Einschränkungen in der Effizienz der multimodalen Fusion, der emotional-semantischen Assoziationsanalyse und der Modellierung von langfristigen Kontexten anzugehen, schlagen wir ein innovatives Framework auf der Grundlage von Graph-Neuronalen Netzwerken (GNN) vor. Unsere Methodik integriert drei wesentliche Komponenten: (1) einen hierarchischen sequenziellen Fusionsansatz (HSF) zur multimodalen Integration, (2) ein sentimentemotional verbessertes gemeinsames Lernframework und (3) eine kontextsensitive duale Grapharchitektur (CS-BiGraph). Die experimentellen Ergebnisse zeigen, dass unsere Methode eine Genauigkeit von 69,1 % im IEMOCAP-Datensatz erreicht und damit eine neue Bestmarke erzielt. Für zukünftige Arbeiten werden wir robuste Erweiterungen unseres Frameworks unter realen Szenarien mit höheren Geräuschpegeln erkunden und die Integration neuer Modalitäten für eine breitere Anwendbarkeit untersuchen.
Tu et al. (Mon,) haben diese Frage untersucht.