RetrievalFuse: Neuronale 3D-Szenenrekonstruktion mit einer Datenbank

Die 3D-Rekonstruktion großer Szenen stellt ein herausforderndes Problem dar, aufgrund der hohen Komplexität des Lösungsraums, insbesondere bei generativen neuronalen Netzen. Im Gegensatz zu traditionellen generativen Modellen, die den gesamten generativen Prozess in ein neuronales Netzwerk einbetten und Schwierigkeiten haben können, lokale Details auf der Szenenebene beizubehalten, führen wir ein neues Verfahren ein, das direkt die Szenengeometrie aus der Trainingsdatenbank nutzt. Zuerst lernen wir, eine anfängliche Schätzung für eine 3D-Szene zu synthetisieren, die durch Abruf einer Top-k-Menge von volumetrischen Chunk aus der Szenendatenbank erstellt wird. Diese Kandidaten werden dann mit einer auf Aufmerksamkeit basierenden Verfeinerung zu einer endgültigen Szenengenerierung weiter verfeinert, die effektiv das konsistenteste Set von Geometrie aus den Kandidaten auswählen und diese kombinieren kann, um eine Ausgangsszene zu erstellen, was den Transfer koherenter Strukturen und lokaler Details aus der Trainingsszenengeometrie erleichtert. Wir zeigen unsere neuronale Szenenrekonstruktion mit einer Datenbank für die Aufgaben der 3D-Superauflösung und Oberflächenrekonstruktion aus spärlichen Punktwolken und demonstrieren, dass unser Ansatz die Generierung kohärenterer, genauerer 3D-Szenen ermöglicht, der im Durchschnitt über 8% in IoU im Vergleich zu modernster Szenenrekonstruktion verbessert.