CamP: Kamera-Vorconditioning für neuronale Radiance-Felder

Neuronale Radiance-Felder (NeRF) können optimiert werden, um hochauflösende 3D-Szenenrekonstruktionen von Objekten und großflächigen Szenen zu erhalten. Allerdings erfordern NeRFs genaue Kameraparameter als Eingabe – ungenaue Kameraparameter führen zu verschwommenen Darstellungen. Extrinsische und intrinsische Kameraparameter werden normalerweise mithilfe von Structure-from-Motion (SfM)-Methoden als Vorverarbeitungsschritt für NeRF geschätzt, aber diese Techniken liefern selten perfekte Schätzungen. Daher haben frühere Arbeiten vorgeschlagen, die Kameraparameter zusammen mit einem NeRF gemeinsam zu optimieren, aber diese Methoden sind anfällig für lokale Minima in herausfordernden Einstellungen. In dieser Arbeit analysieren wir, wie verschiedene Kameraparametrisierung dieses gemeinsame Optimierungsproblem beeinflusst, und beobachten, dass Standardparametrisierungen große Unterschiede in der Größe in Bezug auf kleine Störungen aufweisen, die zu einem schlecht konditionierten Optimierungsproblem führen können. Wir schlagen vor, ein Proxy-Problem zu verwenden, um eine Whitening-Transformation zu berechnen, die die Korrelation zwischen Kameraparametern beseitigt und deren Effekte normalisiert. Außerdem schlagen wir vor, diese Transformation als Vorbedingung für die Kameraparameter während der gemeinsamen Optimierung zu verwenden. Unsere vorgefilterte Kameraoptimierung verbessert die Rekonstruktionsqualität erheblich bei Szenen aus dem Mip-NeRF 360-Datensatz: Wir reduzieren die Fehlerquoten (RMSE) um 67 % im Vergleich zu den neuesten NeRF-Ansätzen, die nicht für Kameras wie Zip-NeRF optimieren, und um 29 % relativ zu den neuesten gemeinsamen Optimierungsansätzen unter Verwendung der Kameraparametrisierung von SCNeRF. Unser Ansatz ist einfach umzusetzen, erhöht die Laufzeit nicht erheblich, kann auf eine Vielzahl von Kameraparametrisierungen angewendet werden und kann unkompliziert in andere NeRF-ähnliche Modelle integriert werden.