CamP : Préconditionnement de la caméra pour les champs de radiance neuronaux

Les champs de radiance neuronaux (NeRF) peuvent être optimisés pour obtenir des reconstructions 3D fidèles de scènes d'objets et de scènes à grande échelle. Cependant, les NeRF nécessitent des paramètres de caméra précis en entrée - des paramètres de caméra inexactes entraînent des rendus flous. Les paramètres de caméra extrinsèques et intrinsèques sont généralement estimés à l'aide de méthodes Structure-from-Motion (SfM) comme étape de prétraitement pour NeRF, mais ces techniques aboutissent rarement à des estimations parfaites. Ainsi, des travaux antérieurs ont proposé d'optimiser conjointement les paramètres de caméra avec un NeRF, mais ces méthodes sont sujettes à des minima locaux dans des contextes difficiles. Dans ce travail, nous analysons comment différentes paramétrisations de caméra affectent ce problème d'optimisation conjointe, et observons que les paramétrisations standard présentent de grandes différences d'amplitude par rapport à de petites perturbations, ce qui peut conduire à un problème d'optimisation mal conditionné. Nous proposons d'utiliser un problème proxy pour calculer une transformation de blanchiment qui élimine la corrélation entre les paramètres de caméra et normalise leurs effets, et nous proposons d'utiliser cette transformation comme préconditionneur pour les paramètres de caméra lors de l'optimisation conjointe. Notre optimisation de caméra préconditionnée améliore significativement la qualité de reconstruction sur des scènes du dataset Mip-NeRF 360 : nous réduisons les taux d'erreur (RMSE) de 67 % par rapport aux approches NeRF à la pointe de la technologie qui n'optimisent pas pour les caméras comme Zip-NeRF, et de 29 % par rapport aux approches d'optimisation conjointe à la pointe de la technologie utilisant la paramétrisation de caméra de SCNeRF. Notre approche est facile à mettre en œuvre, n'augmente pas significativement le temps d'exécution, peut être appliquée à une grande variété de paramétrisations de caméra, et peut être intégrée de manière simple dans d'autres modèles similaires à NeRF.