Verbesserung von Neuralen Strahlungsfeldern durch Nahoberflächen-Sampling mit Punktwolken-Generierung

Zusammenfassung: Das neurale Strahlungsfeld (NeRF) ist eine aufkommende Methode zur Sichtsynthetisierung, die Punkte in einem dreidimensionalen (3D) Raum sampelt und deren Existenz- und Farbwahrscheinlichkeiten schätzt. Der Nachteil von NeRF ist, dass es eine lange Trainingszeit benötigt, da es viele 3D-Punkte sampelt. Zudem kann die Rendering-Qualität von NeRF beeinträchtigt werden, wenn Punkte aus verdeckten Bereichen oder in dem Raum, in dem ein Objekt wahrscheinlich nicht existiert, gesampelt werden. Diese Probleme können gelöst werden, indem die Geometrie der 3D-Szene geschätzt wird. Dieses Papier schlägt ein Nahoberflächen-Sampling-Rahmenwerk vor, um die Rendering-Qualität von NeRF zu verbessern. Zu diesem Zweck schätzt die vorgeschlagene Methode die Oberfläche eines 3D-Objekts mithilfe von Tiefenbildern des Trainingssatzes und führt das Sampling nur in der Nähe der geschätzten Oberfläche durch. Um Tiefeninformationen zu einer neuen Ansicht zu erhalten, schlägt das Papier eine Methode zur Generierung von 3D-Punktwolken und eine einfache Verfeinerungsmethode für projizierte Tiefen aus einer Punktwolke vor. Experimentelle Ergebnisse zeigen, dass das vorgeschlagene Nahoberflächen-Sampling-NeRF-Rahmenwerk die Rendering-Qualität im Vergleich zum ursprünglichen NeRF und drei verschiedenen modernen NeRF-Methoden signifikant verbessern kann. Darüber hinaus kann die Trainingszeit eines NeRF-Modells mit dem vorgeschlagenen Nahoberflächen-Sampling-Rahmenwerk erheblich beschleunigt werden.