Ein Multitasking-Ansatz zur kontinuierlichen fünf-dimensionalen Affekterkennung in natürlicher Sprache

Die automatische Affekterkennung ist wichtig für die Fähigkeit zukünftiger technischer Systeme, auf intelligente Weise sozial mit uns zu interagieren, indem sie unseren aktuellen affektiven Zustand verstehen. In den letzten Jahren gab es einen Wandel im Bereich der Affekterkennung von „im Labor“ durchgeführten Experimenten mit gespielten Daten zu „in der Natur“ durchgeführten Experimenten mit spontanen und naturalistischen Daten. Zwei wesentliche Probleme sind dabei die geeignete Segmentierung der Eingabedaten und die adäquate Beschreibung und Modellierung affektiver Zustände. Das erste Problem ist entscheidend für reaktive, Echtzeitsysteme wie virtuelle Agenten und Roboter, bei denen die Latenz der Analyse so gering wie möglich sein muss. Um dieses Problem zu adressieren, stellen wir eine neuartige Methode der inkrementellen Segmentierung vor, die in Kombination mit über-segmentalen Modellen verwendet werden soll. Zur Modellierung kontinuierlicher affektiver Zustände verwenden wir Long Short-Term Memory Recurrent Neural Networks, mit denen wir eine Leistungsverbesserung gegenüber standardmäßigen rekurrenten neuronalen Netzen und Feed-Forward-neuronalen Netzen sowie Support Vector Regression zeigen können. Für die Experimente nutzen wir die SEMAINE-Datenbank, die Aufzeichnungen von spontanen und natürlichen menschlichen Wizard-of-Oz-Gesprächen enthält. Die Aufzeichnungen werden kontinuierlich in Zeit und Größe mit FeelTrace für fünf affektive Dimensionen annotiert, nämlich Aktivierung, Erwartung, Intensität, Macht/Dominanz und Valenz. Um Abhängigkeiten zwischen den fünf affektiven Dimensionen zu nutzen, untersuchen wir das Multitask-Lernen aller fünf Dimensionen, ergänzt durch die Interrater-Standardabweichung. Wir können Verbesserungen für Multitasking im Vergleich zur Einzelaufgabenmodellierung zeigen. Korrelationen von bis zu 0,81 werden für die Dimension der Aktivierung und bis zu 0,58 für die Dimension der Valenz erzielt. Die Leistung für die verbleibenden Dimensionen lag zwischen der für Aktivierung und Valenz.