NeRF-FF: eine Plug-in-Methode zur Minderung von Unschärfe durch Defokussierung für runtime-optimierte neuronale Strahlungsfelder

Zusammenfassung Neuronale Strahlungsfelder (NeRFs) haben die Synthese neuer Perspektiven revolutioniert und zu einem bisher unerreichten Realismus in gerenderten Bildern geführt. Allerdings leidet die Rekonstruktionsqualität von NeRFs erheblich unter defokussierten Regionen in den Eingabebildern. Wir schlagen NeRF-FF vor, eine Plug-in-Strategie, die Bildmasken basierend auf Focus Frustums (FFs) schätzt, d.h. dem sichtbaren Volumen im Szenenraum, das scharf ist. NeRF-FF ermöglicht es einem anschließend trainierten NeRF-Modell, defokussierte Bildregionen während des Trainingsprozesses zu ignorieren. Bestehende Methoden zur Minderung der Auswirkungen von defokussiert unscharfen Eingabebildern greifen häufig auf dynamische Strahlengenerierung zurück. Dadurch sind sie inkompatibel mit den statischen Strahlenvoraussetzungen, die von runtime-leistungsoptimierten NeRF-Varianten wie Instant-NGP verwendet werden, was zu hohen Trainingszeiten führt. Unsere Experimente zeigen, dass NeRF-FF in Bezug auf die Trainingszeit um zwei Größenordnungen überlegen ist und diese auf unter 1 Minute auf Endverbraucherhardware reduziert, während die visuelle Qualität vergleichbar bleibt.