PNeRFLoc: Visuelle Lokalisierung mit punktbasierten neuronalen Strahlungsfeldern

Aufgrund der Fähigkeit, qualitativ hochwertige neue Ansichten zu synthetisieren, wurden neuronale Strahlungsfelder (NeRF) kürzlich genutzt, um die visuelle Lokalisierung in einer bekannten Umgebung zu verbessern. Die bestehenden Methoden verwenden NeRF jedoch größtenteils für die Datenaugmentation zur Verbesserung des Trainings des Regressionsmodells, und ihre Leistungen bei neuen Blickwinkeln und Erscheinungen sind aufgrund des Mangels an geometrischen Einschränkungen weiterhin begrenzt. In diesem Papier schlagen wir ein neuartiges Framework zur visuellen Lokalisierung vor, d.h. PNeRFLoc, das auf einer einheitlichen punktbasierten Darstellung basiert. Einerseits unterstützt PNeRFLoc die anfängliche Schätzung der Pose durch das Abgleichen von 2D- und 3D-Featurepunkten wie traditionelle strukturbasierte Methoden; andererseits ermöglicht es auch die Verfeinerung der Pose mit neuartiger Sichtsynthetisierung durch renderingsbasierte Optimierung. Spezifisch schlagen wir ein neuartiges Modul zur Anpassung von Merkmalen vor, um die Lücken zwischen den Merkmalen für die visuelle Lokalisierung und neuronales Rendering zu schließen. Um die Wirksamkeit und Effizienz der renderingsbasierten Optimierung zu verbessern, haben wir auch ein effizientes renderingsbasiertes Framework mit einer Warp-Verlustfunktion entwickelt. Umfangreiche Experimente zeigen, dass PNeRFLoc auf dem synthetischen Datensatz am besten abschneidet, wenn das 3D-NeRF-Modell gut gelernt werden kann, und es übertrifft alle NeRF-unterstützten Lokalisierungsmethoden erheblich mit vergleichbarer SOTA-Leistung auf den realen Benchmark-Lokalisierungsdatensätzen. Projektwebseite: https://zju3dv.github.io/PNeRFLoc/.