Key points are not available for this paper at this time.
Schwach überwachte Verweisungsexpressionsverankerung (REG) zielt darauf ab, die referenzielle Entität in einem Bild gemäß linguistischer Anfrage zu lokalisieren, wobei die Zuordnung zwischen dem Bildbereich (Vorschlag) und der Anfrage in der Trainingsphase unbekannt ist. In Verweisungsexpressionen beschreiben Menschen normalerweise eine Zielentität in Bezug auf ihre Beziehung zu anderen kontextuellen Entitäten sowie visuelle Attribute. Frühere schwach überwachte REG-Methoden haben jedoch selten auf die Beziehung zwischen den Entitäten geachtet. In diesem Artikel schlagen wir ein wissen-gesteuertes paarweises Rekonstruktionsnetzwerk (KPRN) vor, das die Beziehung zwischen der Zielentität (Subjekt) und der kontextuellen Entität (Objekt) modelliert und diese beiden Entitäten verankert. Konkret entwerfen wir zuerst ein Wissensextraktionsmodul, um die Auswahl der Vorschläge für Subjekt und Objekt zu leiten. Das Vorwissen wird in einer spezifischen Form von semantischen Ähnlichkeiten zwischen jedem Vorschlag und dem Subjekt/Objekt erlangt. Zweitens entwerfen wir, geleitet von solchem Wissen, das Subjekt- und Objekt-Aufmerksamkeitsmodul zur Konstruktion der Subjekt-Objekt-Vorschlagspaare. Die Objektaufmerksamkeit wählt den geeignetsten Vorschlag als den kontextuellen Vorschlag aus. Drittens führen wir eine paarweise Aufmerksamkeit und ein adaptives Gewichtungsverfahren ein, um die Entsprechung zwischen diesen Vorschlags-Paaren und der Anfrage zu lernen. Schließlich wird ein paarweises Rekonstruktionsmodul verwendet, um die Verankerung für schwach überwacht Lernen zu messen. Umfangreiche Experimente an vier groß angelegten Datensätzen zeigen, dass unsere Methode bestehende state-of-the-art Methoden bei weitem übertrifft.
Liu et al. (Tue,) haben diese Frage untersucht.