Text-Video-Retrieval über Multi-Modale Hypergraph-Netzwerke

Text-Video-Retrieval ist eine anspruchsvolle Aufgabe, die darauf abzielt, relevante Videos anhand von textuellen Abfragen zu identifizieren. Im Vergleich zum konventionellen Textabruf besteht das Hauptproblem beim Text-Video-Retrieval in der semantischen Lücke zwischen der textuellen Natur der Abfragen und der visuellen Fülle des Videoinhalts. Frühere Arbeiten konzentrieren sich hauptsächlich darauf, die Abfrage und das Video durch fein abgestimmte Aggregation von Wort-Frame-Abgleichsignalen auszurichten. Inspiriert von dem menschlichen kognitiven Prozess, die Relevanz zwischen Text und Video modular zu beurteilen, benötigt das Urteil hochgradige Abgleichsignale aufgrund der fortlaufenden und komplexen Natur von Videoinhalten. In diesem Papier schlagen wir ein Chunk-Level-Text-Video-Matching vor, bei dem die Abfrage-Chunks extrahiert werden, um eine spezifische Abrufeinheit zu beschreiben, und die Video-Chunks in verschiedene Clips aus Videos segmentiert werden. Wir formulieren das Chunk-Level-Matching als n-äre Korrelationsmodellierung zwischen den Wörtern der Abfrage und den Frames des Videos und führen einen multi-modalen Hypergraphen für die n-äre Korrelationsmodellierung ein. Durch die Darstellung textueller Einheiten und Video-Frames als Knoten und die Verwendung von Hyperkanten zur Darstellung ihrer Beziehungen wird ein multi-modaler Hypergraph konstruiert. Auf diese Weise können die Abfrage und das Video in einem hochgradig semantischen Raum ausgerichtet werden. Darüber hinaus, um die Verallgemeinerungsfähigkeit des Modells zu verbessern, werden die extrahierten Merkmale in eine komponentenbasierte Variationsinferenz eingeführt, um die Variation unter der gaußschen Verteilung zu berechnen. Die Integration von Hypergraphen und Variationsinferenz ermöglicht es unserem Modell, komplexe, n-äre Interaktionen zwischen textuellen und visuellen Inhalten zu erfassen. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagener Ansatz eine erstklassige Leistung bei der Text-Video-Retrieval-Aufgabe erzielt.