Die multimodale aspektbasierte Sentiment-Analyse, als eine feinmaschige Sentiment-Analyse-Aufgabe, zielt darauf ab, die Sentiment-Polarität zu identifizieren, die mit einer gegebenen Aspektentität verbunden ist. Aktuelle Methoden konzentrieren sich hauptsächlich auf die Fusion von Informationen aus verschiedenen Quellen (z. B. Bild und Text). In realen Szenarien sind jedoch die emotionalen Beiträge der verschiedenen Modalitäten nicht ausgewogen. Daher hat die direkte Untersuchung der Modalitätsfusion unvermeidlich ihre Grenzen. Um dieses Problem anzugehen, schlagen wir ein multimodales aspektbasiertes Sentiment-Analyse-Netzwerk mit adaptiver Modalausgleichung (AMB) vor, das die emotionalen Beiträge über Modalitäten hinweg adaptiv analysiert. Konkret aggregieren wir zunächst die Merkmalsinformationen einer einzelnen Modalität separat durch Selbstaufmerksamkeit. Darüber hinaus wird während der Modalitätsfusion jeder Modalität ein unterschiedliches Gewicht basierend auf ihrer Merkmalsentropie zugewiesen, was hilft, ihre emotionalen Beiträge auszugleichen. Experimente an zwei öffentlichen Datensätzen bestätigen die Wirksamkeit des vorgeschlagenen Netzwerks.
Liu et al. (Thu,) untersuchten diese Frage.