Deep Learning-based Scene Reconstruction from Multi-view Videos

Diese Dissertation befasst sich mit der Herausforderung, die hochpräzise 4D-Geometrie und das visuelle Erscheinungsbild dynamischer Szenen aus Multi-View-Videos zu rekonstruieren. Der Schwerpunkt liegt dabei auf geometrischer Genauigkeit, zeitlicher Konsistenz und Recheneffizienz. Die Forschung treibt die volumetrische Videorekonstruktion durch eine Abfolge von vier Schlüsselmethoden voran. Erstens erweitert sie eine professionelle Human-Capture-Pipeline unter Verwendung eines modifizierten Vis-MVSNet sowie eines neuartigen Frameworks zur Tiefen-Nachbearbeitung. Zweitens wird D-NeuS eingeführt, eine auf neuronalen impliziten Oberflächen basierende Methode für statische Szenen, die den geometrischen Bias durch SDF-Werte-Supervision und Multi-View-Merkmalskonsistenz eliminiert. Drittens wird dieser Ansatz mit DySurf auf dynamische Szenen ausgeweitet. DySurf ist ein template-freier neuronaler Ansatz, der nicht-starre Bewegungen und Topologieänderungen bewältigt, indem er die zeitliche Entwicklung auf einen gemeinsamen kanonischen Raum abbildet. Um schließlich die Rechenkosten signifikant zu senken, stellt die Arbeit AT-GS vor – ein effizientes 3D-Gaussian-Surfel-Framework, das gradientenbewusste Verdichtung und krümmungsbasierte zeitliche Konsistenz nutzt. Zusammengenommen überführen diese Beiträge die 4D-Rekonstruktion erfolgreich von klassischen MVS-Pipelines hin zu rechentechnisch praktikablen, State-of-the-Art neuronalen und expliziten Repräsentationen.