Key points are not available for this paper at this time.
Die Spracherkennung von Emotionen (SER) ist ein wichtiger Bestandteil der Forschung in den Bereichen affektives Computing und Signalverarbeitung. Eine Reihe von Ansätzen, insbesondere Techniken des tiefen Lernens, haben vielversprechende Ergebnisse bei der SER erzielt. Dennoch gibt es Herausforderungen bei der Übersetzung temporaler und dynamischer Veränderungen von Emotionen durch Sprache. Spiking Neural Networks (SNN) haben sich als vielversprechender Ansatz in Aufgaben des maschinellen Lernens und der Mustererkennung, wie z.B. Handschrift- und Gesichtsausdruckserkennung, erwiesen. In diesem Papier untersuchen wir den Einsatz von SNN für SER-Aufgaben und schlagen insbesondere einen neuen Ansatz zur cross-modalen Verbesserung vor. Diese Methode ist inspiriert von der auditiven Informationsverarbeitung im Gehirn, wobei auditive Informationen durch eine visuelle Verarbeitung in multisensorischen audio-visuellen Prozessen vorausgegangen, verbessert und vorhergesagt werden. Wir haben Experimente an zwei Datensätzen durchgeführt, um unseren Ansatz mit den bestehenden SER-Techniken sowohl in uni-modalen als auch in multi-modalen Aspekten zu vergleichen. Die Ergebnisse haben gezeigt, dass SNNs ein idealer Kandidat zur Modellierung temporaler Beziehungen in Sprachmerkmalen sein können und unser cross-modaler Ansatz die Genauigkeit der SER signifikant verbessern kann.
Mansouri-Benssassi et al. (Mon,) haben diese Frage untersucht.