Live-dichte Rekonstruktion mit einer einzigen beweglichen Kamera

Wir präsentieren eine Methode, die eine schnelle und dichte Rekonstruktion von Szenen ermöglicht, die von einer einzigen Live-Kamera erfasst werden. Wir verwenden punktbasierte Echtzeit-Struktur aus Bewegung (SFM) als Ausgangspunkt, um genaue 3D-Kamerapositionen und eine spärliche Punktwolke zu generieren. Unser Hauptbeitrag ist die Verwendung eines approximativen, aber glatten Basisnetzes, das aus dem SFM erzeugt wird, um die Ansicht bei einem Bündel von Posen rund um automatisch ausgewählte Referenzrahmen zu prognostizieren, die die Szene überspannen, und dann das Basisnetz in hochpräzise Tiefenkarten umzuwandeln, basierend auf ansichtsprädiktivem optischen Fluss und einem eingeschränkten Szenenfluss-Update. Die Qualität der resultierenden Tiefenkarten bedeutet, dass ein überzeugendes globales Szenenmodell einfach erzielt werden kann, indem sie nebeneinander platziert und überlappende Bereiche entfernt werden. Wir zeigen, dass eine unordentliche Innenumgebung aus einer Live-Handkamera in wenigen Sekunden rekonstruiert werden kann, wobei die gesamte Verarbeitung von aktueller Desktop-Hardware durchgeführt wird. Die Echtzeit-monokulare dichte Rekonstruktion eröffnet viele Anwendungsbereiche, und wir demonstrieren sowohl die Echtzeitsynthese neuer Ansichten als auch fortschrittliche Augmented Reality, bei der Augmentierungen physisch mit der 3D-Szene interagieren und korrekt von Okklusionen abgeschnitten werden.