Erkennung und Darstellung von Szenen in Videos

In diesem Papier wird eine Methode vorgestellt, um eine hochgradige Segmentierung von Videos in Szenen durchzuführen. Eine Szene kann als eine Unterteilung eines Spiels definiert werden, in der entweder der Schauplatz festgelegt ist oder wenn kontinuierliche Aktionen an einem Ort präsentiert werden. Wir nutzen diesen Umstand und schlagen einen neuartigen Ansatz zur Gruppierung von Einstellungen in Szenen vor, indem wir diese Aufgabe in ein Problem der Graphpartitionierung umwandeln. Dies wird erreicht, indem ein gewichteter ungerichteter Graph konstruiert wird, der als Shot-Similarity-Graph (SSG) bezeichnet wird, wobei jeder Knoten einen Shot darstellt und die Kanten zwischen den Shots entsprechend ihrer Ähnlichkeit basierend auf Farb- und Bewegungsinformationen gewichtet sind. Der SSG wird dann in Teilgraphen unterteilt, indem normalisierte Schnitte zur Graphpartitionierung angewendet werden. Die so erhaltenen Partitionen repräsentieren einzelne Szenen im Video. Bei der Gruppierung der Shots berücksichtigen wir die globalen Ähnlichkeiten der Shots und nicht die individuellen Shot-Paare. Wir schlagen auch eine Methode vor, um den Inhalt jeder Szene zu beschreiben, indem wir ein repräsentatives Bild aus dem Video als Szenen-Schlüsselbild auswählen. Kürzlich sind DVDs mit einer Kapitelwahloption verfügbar geworden, bei der jedes Kapitel durch ein Bild dargestellt wird. Unser Algorithmus automatisiert dieses Ziel, was nützlich für Anwendungen wie Video-on-Demand, digitale Bibliotheken und das Internet ist. In diesem Beitrag werden Experimente mit vielversprechenden Ergebnissen zu mehreren Hollywood-Filmen und einer Sitcom präsentiert.