Content-based access to video objects: Temporal Segmentation, visual summarization, and feature extraction

The classical approach to content-based video access has been ‘frame-based’, consisting of shot boundary detection, followed by selection of key frames that characterize the visual content of each shot, and then clustering of the camera shots to form story units. However, in an object-based multimedia environment, content-based random access to individual video objects becomes a desirable feature. To this effect, this paper introduces an ‘object-based’ approach to temporal video partitioning and content-based indexing, where the basic indexing unit is ‘lifespan of a video object’, rather than a ‘camera shot’ or a ‘story unit’. We propose to represent each video object by an adaptive 2D triangular mesh. A mesh-based object tracking scheme is then employed to compute the motion trajectories of all mesh node points until the object exits the field of view. A new similarity measure that is based on motion discontinuities and shape changes of the tracked object is defined to detect content changes, resulting in temporal lifespan segments. A set of ‘key snapshots’ which constitute a visual summary of the lifespan of the object is automatically selected. These key snapshots are then used to animate objects of interest using tracked motion trajectories for a moving visual representation. The proposed scheme provides such functionalities as object-based search/browsing for interactive video retrieval, surveillance video analysis, and object-based content manipulation/editing for studio postprocessing and desktop multimedia authoring. The approach is applicable to any video data where the initial appearance of object(s) can be specified, and the object motion can be modeled by a piecewise affine transformation. The system is demonstrated using different types of video: virtual studio productions (composited video), surveillance video, and TV broadcast video. Der klassische Ansatz zu inhaltsorientiertem Videozugriff war “frame-basiert” und bestand aus der Detektion der Grenzen kurzer Aufnahmeabschnitte, gefolgt von der Auswahl wichtiger Frames, die den visuellen Inhalt jeder dieser Aufnahmeabschnitte charakterisieren, und dem Zusammenfügen dieser Kameraaufnahmen, um Filmeinheiten zu bilden. In einer objektorientierten Multimedia-Umgebung wird jedoch ein willkürlicher, inhaltsorientierter Zugriff auf individuelle Videoobjekte ein wünschenswertes Merkmal. Dazu wird in dieser Arbeit ein objektbasierter Ansatz zur zeitlichen Videopartitionierung und inhaltsbasierten Katalogisierung eingeführt, bei der die zugrundeliegende Katalogisierungseinheit die “Lebensdauer eines Videoobjektes” anstatt des “Aufnahmeabschnitts”oder der “Filmeinheit”ist. Wir schlagen vor, jedes Videoobjekt durch ein adaptives 2D Dreieckgitter zu repräsentieren. Es wird dann ein gitterbasiertes Verfahren zur Objektverfolgung verwendet, mit dem die Bewegungsbahnen aller Knotenpunkte des Gitters berechnet werden, bis das Objekt den Betrachtungsbereich verläßt. Eines neues Ähnlichkeitsmaß zum Erkennen von Änderungen des Inhalts, das auf Bewegungsdiskontinuitäten und Änderung der Gestalt des verfolgten Objekts basiert, wird definiert und führt zu Videosegmenten verschiedener Lebensdauer. Eine Anzahl von “Schlüsselaufnahmen”, die eine visuelle Zusammenfassung der Lebensdauer des Objektes darstellen, wird automatischen ausgewählt. Für eine visuelle Bewegungsdarstellung werden diese Schlüsselaufnahmen zur Animation interessierender Objekte durch die Benutzung der verfolgten Bewegungsbahnen verwendet. Das vorgeschlagene Verfahren stellt Funktionen wie objektorientiertes Suchen/Umsehen für interaktiven Videoempfang und Analyse von Überwachungsvideos, und objektorientierte Veränderung/Editierung des Inhalts für die Nachbearbeitung im Studio und zur Erstellung von Multimedia-Produkten am Rechner zur Verfügung. Der Ansatz läßt sich auf beliebige Videodaten anwenden, bei denen das erstmalige Auftreten eines Objekts festgelegt und die Bewegung des Objekts durch eine stückweise affine Transformation modelliert werden kann. Das System wird mit verschiedenen Videodaten vorgestellt: virtuelle Studioproduktionen (künstliches Video), Aufnahmen von Überwachungskameras und Fernschaufnahmen. L’approche classique de l’accès vidéo qui s’appuie sur le contenu est “basé sur des trames”, consistant en la détection de frontières de prises de vue suivic par la sélection de trames-clés qui caractérisent le contenu visuel de chaque prise, pour finir avec la coalescence des prises de vue pour former des unités de scène. Toutefois, dans un environnement multimédia basé sur des objets, l’accès aléatoire basé sur le contenu à des objets vidéo individuels devient une caractéristique souhaitable. A cet effet, ce papier introduit une approche “basée sur des objets” au partitionnement vidéo temporel et un indexage basé sur le contenu, où l’unité d’indexage de base est la “durée de vie d’un objet vidéo”, plutôt qu’une “prise de vue” ou une “unité de scène”. On propose de représenter chaque objet vidéo par un réseau triangulaire 2D adaptatif. Une méthode de poursuite d’objet basée sur un réseau est ensuite employée pour calculer les trajectoires des mouvements de chaque noeud du réseau jusqu’à ce que l’objet quitte le champ de vision. Une nouvelle mesure de similarité basée sur les discontinuités de mouvement et les changements de forme de l’objet poursuivi est définie de manière à détecter les changements de contenu et résultant en segments de durée de vie temporels. Un ensemble de “prises de vue-clés” constituant un résumé visuel de la durée de vie de l’objet est sélectionné automatiquement. Ces prises de vue-clés sont alors utilisées pour animer des objets d’intérêt en faisant appel aux trajectoires de mouvement poursuivies pour une repésentation visuelle mobile. La méthode proposée fournit de telles fonctionnalités en tant qu’outil de recherche/parcours pour la récupération vidéo interactive, l’analyse de vidéo-surveillance et la manipulation/édition de contenu basé sur des objets pour le post-traitement en studio et la classification multimédia. L’approche cst applicable à n’importe quelle séquence vidéo où l’apparence initiale des objets peut être spécifiée et le mouvement des objets modélisé par une transformation affine par morceaux. Le système est testé en utilisant différents types de vidéo: productions en studio virtuelles (vidéo composite), vidéo-surveillance et transmission télévisée.