Bücher und Filme in Einklang bringen: Auf dem Weg zu geschichtenähnlichen visuellen Erklärungen durch das Ansehen von Filmen und das Lesen von Büchern

Bücher sind eine reichhaltige Quelle sowohl für feinkörnige Informationen, wie ein Charakter, ein Objekt oder eine Szene aussieht, als auch für hochrangige Semantiken, was jemand denkt, fühlt und wie sich diese Zustände im Verlauf einer Geschichte entwickeln. Dieses Papier zielt darauf ab, Bücher mit ihren Filmveröffentlichungen in Einklang zu bringen, um umfassende beschreibende Erklärungen für visuelle Inhalte zu bieten, die semantisch weit über die in den aktuellen Datensätzen verfügbaren Beschriftungen hinausgehen. Um Filme und Bücher in Einklang zu bringen, schlagen wir eine neuronale Satz-Einbettung vor, die auf unüberwachtem Weg aus einem großen Korpus von Büchern trainiert wird, sowie eine Video-Text-neuronale Einbettung zur Berechnung von Ähnlichkeiten zwischen Filmclips und Sätzen im Buch. Wir schlagen ein kontextbewusstes CNN vor, um Informationen aus mehreren Quellen zu kombinieren. Wir demonstrieren eine gute quantitative Leistung bei der Ausrichtung von Filmen/Büchern und zeigen mehrere qualitative Beispiele, die die Vielfalt der Aufgaben veranschaulichen, für die unser Modell verwendet werden kann.