Ereignisgesteuerte Webvideo-Zusammenfassung durch Tag-Lokalisierung und Schlüsselbild-Identifikation

Mit dem explosiven Wachstum von Webvideos im Internet wird es zu einer Herausforderung, hunderte oder sogar tausende von Videos effizient zu durchsuchen. Bei der Suche nach einer Ereignisanfrage sind die Nutzer oft von der riesigen Menge an Webvideos verwirrt, die von Suchmaschinen zurückgegeben wird. Das Durchsuchen solcher Ergebnisse ist zeitaufwändig und beeinträchtigt zudem das Benutzererlebnis. In diesem Papier stellen wir einen Ansatz für die ereignisgesteuerte Webvideo-Zusammenfassung durch Tag-Lokalisierung und Schlüsselbild-Mining vor. Zunächst lokalisieren wir die Tags, die mit jedem Video verbunden sind, in dessen Szenen. Dann schätzen wir die Relevanz der Szenen im Hinblick auf die Ereignisanfrage, indem wir die tagbasierten Szenen mit der Anfrage abgleichen. Danach identifizieren wir eine Reihe von Schlüsselbildern aus den Szenen, die hohe Relevanzwerte aufweisen, indem wir das wiederkehrende Auftreten von Schlüsselunterereignissen untersuchen. Entsprechend dem Schema in 6 und 22 bieten wir zwei Arten von Zusammenfassungen an, nämlich das dreidimensionale Video-Skimming und das visuell-texuelle Storyboard. Die Experimente wurden an einem Korpus durchgeführt, das 60 Anfragen und mehr als 10.000 Webvideos enthält. Die Auswertung zeigt die Effektivität des vorgeschlagenen Ansatzes.