Multimodale Emotionserkennung durch hierarchische Wissensdistillation

Aufgrund ihrer breiten Anwendungen hat die multimodale Emotionserkennung zunehmend an Forschung Aufmerksamkeit gewonnen. Obwohl bestehende Methoden mit verschiedenen multimodalen Fusionsmethoden überzeugende Erfolge erzielt haben, wird übersehen, dass die dominante Modalität (z. B. Text) eine Abkürzung verursachen und somit das Repräsentationslernen anderer Modalitäten (z. B. Bild und Audio) negativ beeinflussen kann. Um ein solches Problem zu mildern, greifen wir auf die Wissensdistillation zurück, um die Kluft zwischen verschiedenen Modalitäten zu verringern. Insbesondere entwickeln wir ein neues hierarchisches Wissensdistillationsmodell für die multimodale Emotionserkennung (HKD-MER), das aus drei Komponenten besteht: Merkmalsextraktion, hierarchische Wissensdistillation und aufmerksame multimodale Fusion. Als wesentlicher Beitrag unseres vorgeschlagenen Modells ist die hierarchische Wissensdistillation darauf ausgelegt, Wissen von der dominanten Modalität auf die anderen sowohl auf der Merkmals- als auch auf der Label-Ebene zu übertragen. Sie verbessert die Leistung der nicht-dominanten Modalitäten, indem sie die intermodale Beziehung zwischen verschiedenen Modalitäten modelliert. Wir haben die Wirksamkeit unseres vorgeschlagenen Modells an zwei Benchmark-Datensätzen nachgewiesen.