Key points are not available for this paper at this time.
Es gab mehrere Versuche, einen räumlichen visuellen Aufmerksamkeitsmechanismus in ein Bildunterschriftenmodell zu integrieren und semantische Konzepte als Leitfaden für die Generierung von Bildunterschriften einzuführen. Hochgradige semantische Informationen bestehen aus der Abstraktheit und der Allgemeinheit einer Abbildung, was dazu beiträgt, die Modellleistung zu verbessern. Hochgradige Informationen sind jedoch immer statische Darstellungen, ohne die auffälligen Elemente zu berücksichtigen. Daher wird in diesem Artikel ein semantischer Aufmerksamkeitsmechanismus für die hochgradigen Informationen anstelle der konventionellen statischen Darstellungen verwendet. Die auffälligen hochgradigen semantischen Informationen können als redundante semantische Informationen für die Generierung von Bildunterschriften betrachtet werden. Darüber hinaus kann die Generierung von visuellen und nicht-visuellen Wörtern getrennt erfolgen, und ein adaptiver Aufmerksamkeitsmechanismus wird eingesetzt, um die Leitinformationen der Bildunterschriftengenerierung zwischen neuen Fusionsinformationen (Fusion von Bildmerkmalen und hochgradigen Semantiken) und einem Sprachmodell zu wechseln. Daher können visuelle Wörter basierend auf den Bildmerkmalen und den hochgradigen semantischen Informationen generiert werden, während nicht-visuelle Wörter durch das Sprachmodell vorhergesagt werden können. Die semantische Aufmerksamkeit, adaptive Aufmerksamkeit und zuvor generierte Wörter werden zusammengeführt, um ein spezielles Aufmerksamkeitsmodul für die Eingabe und Ausgabe von Langzeitkurzzeitgedächtnis zu konstruieren. Eine Bildunterschrift kann als prägnanter Satz generiert werden, der auf dem genauen Erfassen des reichen Inhalts des Bildes basiert. Die experimentellen Ergebnisse zeigen, dass die Leistung des vorgeschlagenen Modells vielversprechend für die Bewertungsmetriken ist, und die Bildunterschriften können logische und reichhaltige Beschreibungen erreichen.
Liu et al. (Mon,) haben diese Frage untersucht.