Unüberwachtes CNN zur Schätzung der Tiefe aus einer einzelnen Ansicht: Geometrie zur Rettung

Eine wesentliche Schwäche der meisten aktuellen tiefen Faltungsneuronalen Netzwerke ist die Notwendigkeit, sie mit großen Mengen manuell gekennzeichneter Daten zu trainieren. In dieser Arbeit schlagen wir einen unüberwachten Rahmen vor, um ein tiefes Faltungsneuronales Netzwerk zur Vorhersage der Tiefe aus einer einzelnen Ansicht zu lernen, ohne eine Vortraining-Phase oder annotierte Tiefenwahrheiten zu benötigen. Wir erreichen dies, indem wir das Netzwerk auf eine Weise trainieren, die einem Autoencoder analog ist. Während der Trainingszeit betrachten wir ein Paar von Bildern, Quelle und Ziel, mit kleiner, bekannter Kamerabewegung zwischen den beiden, wie bei einem Stereo-Paar. Wir trainieren den Faltungsencoder für die Aufgabe, die Tiefenkarte für das Quellbild vorherzusagen. Dazu generieren wir ausdrücklich eine inverse Verzerrung des Zielbildes unter Verwendung der vorhergesagten Tiefe und des bekannten internen Verschiebung, um das Quellbild zu rekonstruieren; der photometrische Fehler in der Rekonstruktion ist der Rekonstruktionsverlust für den Encoder. Der Erwerb dieser Trainingsdaten ist erheblich einfacher als bei vergleichbaren Systemen, da keine manuelle Annotation und keine Kalibrierung des Tiefensensors zur Kamera erforderlich sind. Wir zeigen, dass unser Netzwerk, das mit weniger als der Hälfte des KITTI-Datensatzes (ohne weitere Augmentierung) trainiert wurde, eine vergleichbare Leistung zu den hochmodernen überwachten Methoden zur Schätzung der Tiefe aus einer einzelnen Ansicht erbringt.