Positional Attention Guided Transformer-ähnliche Architektur für visuelles Fragenbeantworten

Transformatorarchitekturen wurden kürzlich im Bereich des visuellen Fragenbeantwortens (VQA) eingeführt, aufgrund ihrer leistungsstarken Fähigkeiten zur Informationsextraktion und -fusion. Allerdings nutzen bestehende Transformer-ähnliche Modelle, einschließlich Modelle mit einer einzelnen Transformatorstruktur und groß angelegten vortrainierten generischen visuell-linguistischen Modellen, die Positionsinformationen von Wörtern in Fragen und die Positionsinformationen von Objekten in Bildern nicht vollständig, die in diesem Beitrag als entscheidend für VQA-Aufgaben gezeigt werden. Um diese Herausforderung anzugehen, schlagen wir eine neuartige, positionsgesteuerte Aufmerksamkeits-Transformator-ähnliche Architektur vor, die adaptiv Positionsinformationen innerhalb und zwischen den visuellen und sprachlichen Modalitäten extrahiert und diese Informationen nutzt, um hochgradige Interaktionen in inter- und intramodalen Informationsflüssen zu leiten. Insbesondere haben wir drei Positionsaufmerksamkeitsmodule zu einem einzigen Transformator-ähnlichen Modell MCAN entworfen und zusammengefügt. Wir zeigen, dass die Positionsinformationen, die in der intermodalen Interaktion eingeführt werden, die intermodale Interaktion adaptiv in Abhängigkeit von verschiedenen Eingaben modulieren können, was eine wichtige Rolle für visuelles Schließen spielt. Experimentelle Ergebnisse zeigen, dass unser Modell die führenden Modelle übertrifft und besonders gut mit Fragen zum Zählen von Objekten umgehen kann. Insgesamt erzielt unser Modell eine Genauigkeit von 70,10 %, 71,27 % und 71,52 % in den Datensätzen von COCO-QA, VQA v1.0 test-std und VQA v2.0 test-std.