Weiche 3D-Rekonstruktion zur Sichtsynthetisierung

Wir präsentieren einen neuartigen Algorithmus zur Sichtsynthetisierung, der eine weiche 3D-Rekonstruktion nutzt, um Qualität, Kontinuität und Robustheit zu verbessern. Unser Hauptbeitrag ist die Formulierung einer weichen 3D-Darstellung, die die Tiefenunsicherheit in jeder Phase der 3D-Rekonstruktion und -Darstellung bewahrt. Wir zeigen, dass diese Darstellung im gesamten Pipeline der Sichtsynthetisierung vorteilhaft ist. Während der Sichtsynthetisierung bietet sie ein weiches Modell der Szenengeometrie, das Kontinuität über die synthetisierten Ansichten hinweg gewährleistet und Robustheit gegenüber Tiefenunsicherheit bietet. Während der 3D-Rekonstruktion können dieselben robusten Schätzungen der Sichtbarkeit der Szene iterativ angewendet werden, um die Tiefenschätzung an Objektkanten zu verbessern. Unser Algorithmus basiert vollständig auf O(1) Filtern, was eine Beschleunigung begünstigt, und er funktioniert mit strukturierten oder unstrukturierten Eingangsansichten. Wir vergleichen mit aktuellen klassischen und lernbasierten Algorithmen auf plenoptischen Lichtfeldern, breiten Basisaufnahmen und Lichtfeldvideos, die aus Kamera-Arrays erstellt wurden.