Tiefen-gesteuertes NeRF-Training über die Erdbewegungsdistanz

Neural Radiance Fields (NeRFs) werden darauf trainiert, den Rendering-Verlust der vorhergesagten Perspektiven zu minimieren. Der photometrische Verlust liefert jedoch oft nicht genügend Informationen, um zwischen verschiedenen möglichen Geometrien, die dasselbe Bild ergeben, zu unterscheiden. Frühere Arbeiten haben daher während des NeRF-Trainings eine Tiefenüberwachung integriert, indem sie dichte Vorhersagen aus vortrainierten Tiefennetzwerken als Pseudogrundlage genutzt haben. Während diese Tiefenprioren als perfekt angenommen werden, sobald sie auf Rauschen gefiltert sind, ist ihre Genauigkeit in der Praxis herausfordernder zu erfassen. Diese Arbeit schlägt einen neuartigen Ansatz zur Unsicherheit in Tiefenprioren für die NeRF-Überwachung vor. Anstatt maßgeschneiderte Tiefen- oder Unsicherheitsprioren zu verwenden, nutzen wir handelsübliche vortrainierte Diffusionsmodelle, um die Tiefe vorherzusagen und Unsicherheit während des Denoisierungsprozesses zu erfassen. Da wir wissen, dass Tiefenprioren anfällig für Fehler sind, schlagen wir vor, die Verteilung der Strahlabschlussdistanz mit der Erdbewegungsdistanz zu überwachen, anstatt die gerenderte Tiefe genau zu replizieren, indem wir den L2-Verlust erzwingen. Unser tiefen-gesteuertes NeRF übertrifft alle Baseline-Modelle bei den Standard-Tiefenmetriken um einen großen Abstand, während es die Leistung bei photometrischen Maßnahmen aufrechterhält.