Cross-modale Szenengraphabgleich für beziehungsbewusste Bild-Text-Retrieval

Die Bild-Text-Retrieval natürlicher Szenen war ein beliebtes Forschungsthema. Da Bild und Text heterogene, cross-modale Daten sind, besteht eine der zentralen Herausforderungen darin, umfassende, jedoch vereinheitlichte Repräsentationen zu lernen, um die multimodalen Daten auszudrücken. Ein Bild einer natürlichen Szene umfasst hauptsächlich zwei Arten von visuellen Konzepten: Objekte und deren Beziehungen, die für das Bild-Text-Retrieval gleichermaßen wichtig sind. Daher sollte eine gute Repräsentation beide Aspekte berücksichtigen. Angesichts des jüngsten Erfolgs von Szenengraphen in vielen CV- und NLP-Aufgaben zur Beschreibung komplexer natürlicher Szenen schlagen wir vor, Bild und Text mit zwei Arten von Szenengraphen darzustellen: visuelle Szenengraphen (VSG) und textuelle Szenengraphen (TSG), von denen jeder genutzt wird, um Objekte und Beziehungen in der entsprechenden Modalität gemeinsam zu charakterisieren. Die Aufgabe des Bild-Text-Retrieval wird dann natürlicherweise als cross-modales Szenengraphmatching formuliert. Konkret entwerfen wir zwei spezielle Szenengraph-Encoder in unserem Modell für VSG und TSG, die die Repräsentation jedes Knotens im Graph durch Aggregation von Nachbarinformationen verfeinern können. Dadurch können sowohl objektbasierte als auch beziehungsbasierte cross-modale Merkmale gewonnen werden, was es uns günstig ermöglicht, die Ähnlichkeit von Bild und Text auf beiden Ebenen plausibler zu bewerten. Wir erzielen state-of-the-art Ergebnisse auf Flickr30k und MS COCO, die die Vorteile unseres graphenbasierten Ansatzes für das Bild-Text-Retrieval bestätigen.