Spatio-temporaler Video-Autoencoder mit differenzierbarem Gedächtnis

Wir beschreiben einen neuen spatio-temporalen Video-Autoencoder, der auf einem klassischen räumlichen Bild-Autoencoder und einem neuartigen verschachtelten temporalen Autoencoder basiert. Der temporale Encoder wird durch ein differenzierbares visuelles Gedächtnis dargestellt, das aus konvolutionalen Long Short-Term Memory (LSTM) Zellen besteht, die Änderungen über die Zeit integrieren. Hier zielen wir auf Bewegungsänderungen ab und verwenden als temporalen Dekoder ein robustes optisches Flussvorhersagemodul zusammen mit einem Bildsampler, der als integrierte Rückkopplungsschleife dient. Die Architektur ist end-to-end differenzierbar. Zu jedem Zeitpunkt erhält das System ein Videobild als Eingabe, sagt den optischen Fluss auf der Grundlage der aktuellen Beobachtung und des LSTM-Gedächtnisstatus als dichte Transformationskarte voraus und wendet ihn auf das aktuelle Bild an, um das nächste Bild zu generieren. Durch die Minimierung des Rekonstruktionsfehlers zwischen dem vorhergesagten nächsten Bild und dem entsprechenden tatsächlichen nächsten Bild trainieren wir das gesamte System, um Merkmale zu extrahieren, die für die Bewegungsabschätzung nützlich sind, ohne jeglichen Unterstützungsaufwand. Wir präsentieren eine direkte Anwendung des vorgeschlagenen Rahmens in der schwach überwachten semantischen Segmentierung von Videos durch Labels-Propagation unter Verwendung von optischem Fluss.