NeRFMeshing: Destilando Campos de Radiancia Neurales en Mallas 3D Geométricamente Precisos

Con la introducción de los Campos de Radiancia Neurales (NeRFs), la síntesis de nuevas vistas ha dado un gran salto adelante recientemente. En su núcleo, NeRF propone que cada punto 3D puede emitir radiancia, permitiendo llevar a cabo la síntesis de vista utilizando renderizado volumétrico diferenciable. Si bien los campos de radiancia neurales pueden representar con precisión escenas 3D para calcular el renderizado de imágenes, las mallas 3D siguen siendo la principal representación de escena soportada por la mayoría de los gráficos por computadora y los pipelines de simulación, permitiendo tareas como renderizado en tiempo real y simulaciones basadas en física. Obtener mallas 3D a partir de campos de radiancia neurales sigue siendo un desafío abierto ya que los NeRFs están optimizados para la síntesis de vista, sin imponer una geometría subyacente precisa en el campo de radiancia. Por lo tanto, proponemos una arquitectura compacta y flexible que permite una fácil reconstrucción de superficies 3D a partir de cualquier enfoque impulsado por NeRF. Tras haber entrenado el campo de radiancia, destilamos la representación volumétrica 3D en una Red de Aproximación de Superficie Firmada, permitiendo una fácil extracción de la malla 3D y apariencia. Nuestra malla 3D final es físicamente precisa y se puede renderizar en tiempo real en una variedad de dispositivos.