Richtung personalisierte Bildbeschriftung mittels multimodaler Gedächtnisnetzwerke

Wir befassen uns mit der personalisierten Bildbeschriftung, die einen beschreibenden Satz für ein Bild des Nutzers generiert und dabei vorheriges Wissen wie ihren aktiven Wortschatz oder ihren Schreibstil in vorherigen Dokumenten berücksichtigt. Als Anwendungen der personalisierten Bildbeschriftung lösen wir zwei Aufgaben der Postautomatisierung in sozialen Netzwerken: Hashtag-Vorhersage und Post-Generierung. Die Hashtag-Vorhersage sagt eine Liste von Hashtags für ein Bild voraus, während die Post-Generierung einen natürlichen Posttext erzeugt, der aus normalen Wörtern, Emojis und sogar Hashtags besteht. Wir schlagen ein neuartiges Modell zur personalisierten Beschriftung vor, das als Context Sequence Memory Network (CSMN) bezeichnet wird. Seine einzigartigen Aktualisierungen gegenüber bestehenden Gedächtnisnetzwerken umfassen (i) die Nutzung des Gedächtnisses als Repository für mehrere Arten von Kontextinformationen, (ii) das Anhängen zuvor generierter Wörter an das Gedächtnis, um langfristige Informationen zu erfassen, und (iii) die Annahme einer CNN-Gedächtnisstruktur, um benachbarte, geordnete Gedächtnisspeicher für ein besseres Verständnis des Kontexts zusammen darzustellen. Zur Evaluation sammeln wir einen neuen Datensatz InstaPIC-1.1M, der 1,1 Millionen Instagram-Posts von 6.300 Nutzern umfasst. Darüber hinaus verwenden wir den Benchmark-Datensatz YFCC100M, um die Allgemeingültigkeit unseres Ansatzes zu validieren. Durch quantitative Evaluation und Nutzerstudien über Amazon Mechanical Turk zeigen wir, dass die drei neuartigen Funktionen des CSMN dazu beitragen, die Leistung der personalisierten Bildbeschriftung im Vergleich zu führenden Beschriftungsmodellen zu verbessern.