LoginMEA: Lokales-zu-Globales Interaktionsnetzwerk für multi-modale Entitätsanpassung

Die multi-modale Entitätsanpassung (MMEA) zielt darauf ab, äquivalente Entitäten zwischen zwei multi-modalen Wissensgraphen (MMKGs) zu identifizieren, deren Entitäten mit relationalen Tripeln und zugehörigen Bildern assoziiert werden können. Die meisten früheren Studien betrachten die Graphstruktur als eine spezielle Modalität und fusionieren Informationen unterschiedlicher Modalitäten mit separaten uni-modalen Kodierern, wobei wertvolle relationale Assoziationen in den Modalitäten vernachlässigt werden. Andere Studien verfeinern jede uni-modale Information mit Graphstrukturen, können jedoch unnötige Beziehungen in spezifischen Modalitäten einführen. Zu diesem Zweck schlagen wir ein neuartiges lokales-zu-globales Interaktionsnetzwerk für MMEA vor, das als LoginMEA bezeichnet wird. Insbesondere fusionieren wir zuerst lokale multi-modale Interaktionen, um ganzheitliche Entitätensemantiken zu generieren, und verfeinern sie dann mit globalen relationalen Interaktionen von Entitätsnachbarn. In diesem Design wird die uni-modale Information adaptiv fusioniert und kann entsprechend mit Beziehungen verfeinert werden. Um lokale Interaktionen von multi-modalen Entitätsinformationen zu bereichern, entwerfen wir Modalitätsgewichte und eine niedrig-rangige interaktive Fusion, die vielfältige Auswirkungen und elementare Interaktionen zwischen Modalitäten ermöglicht. Um globale Interaktionen von Graphstrukturen zu erfassen, nutzen wir relationale Reflexionsgraph-Attention-Netzwerke, die relationale Assoziationen zwischen Entitäten vollständig erfassen. Umfassende Experimente zeigen überlegene Ergebnisse unserer Methode über 5 cross-KG oder bilinguale Benchmark-Datensätze, was die Wirksamkeit der Erfassung lokaler und globaler Interaktionen anzeigt.