Soziale Bildsentimentanalyse durch Ausnutzung multimodaler Inhalte und heterogener Beziehungen

Im Kontext von sozialen Big Data zieht die Sentimentanalyse aufgrund ihrer Fähigkeit, die Einstellungen und Gefühle von Individuen zu verstehen, zunehmend Aufmerksamkeit auf sich. Traditionelle Sentimentanalyse-Methoden konzentrieren sich auf eine einzelne Modalität und werden ineffektiv, da auf sozialen Websites enorme Daten mit mehreren Manifestationen auftauchen. In diesem Artikel werden multimodale Lernansätze vorgeschlagen, um die Beziehungen zwischen Bildern und Texten zu erfassen, die nur auf der Regionsebene bleiben und die Tatsache ignorieren, dass die Kanäle auch eng mit der semantischen Information korreliert sind. Darüber hinaus sind soziale Bilder auf den sozialen Plattformen durch verschiedene Arten von Beziehungen eng miteinander verbunden, die ebenfalls zur Sentimentklassifizierung beitragen, jedoch von den meisten bestehenden Arbeiten vernachlässigt werden. In diesem Artikel schlagen wir ein auf Aufmerksamkeit basierendes heterogenes relationales Modell vor, um die Leistung der multimodalen Sentimentanalyse zu verbessern, indem wir reichhaltige soziale Informationen einbeziehen. Konkret schlagen wir ein progressives duales Aufmerksamkeitsmodul vor, um die Korrelationen zwischen Bild und Text zu erfassen und dann die gemeinsame Bild-Text-Darstellung aus der Perspektive der Inhaltsinformation zu lernen. Hier wird ein Kanalaufmerksamkeitschema vorgeschlagen, um semantisch reiche Bildkanäle zu beleuchten, und ein Regionsaufmerksamkeitschema wird weiter entworfen, um die emotionalen Regionen basierend auf den beachteten Kanälen hervorzuheben. Danach konstruieren wir ein heterogenes Netzwerks und erweitern das graphenbasierte Faltungsnetzwerk, um die Inhaltsinformationen aus sozialen Kontexten zu aggregieren, um qualitativ hochwertige Darstellungen sozialer Bilder zu lernen. Unser Vorschlag wird umfassend anhand von zwei Benchmark-Datensätzen evaluiert, und die experimentellen Ergebnisse zeigen die Überlegenheit des vorgeschlagenen Modells.