Mejorando Campos de Radiancia Neural Usando Muestreo Cercano a la Superficie con Generación de Nubes de Puntos

Resumen El campo de radiancia neural (NeRF) es un método emergente de síntesis de vistas que muestrea puntos en un espacio tridimensional (3D) y estima sus probabilidades de existencia y color. La desventaja de NeRF es que requiere un largo tiempo de entrenamiento ya que muestrea muchos puntos 3D. Además, si se muestrean puntos de regiones ocluidas o en el espacio donde es poco probable que exista un objeto, la calidad de renderizado de NeRF puede verse degradada. Estos problemas se pueden resolver estimando la geometría de la escena 3D. Este artículo propone un marco de muestreo cercano a la superficie para mejorar la calidad de renderizado de NeRF. Con este fin, el método propuesto estima la superficie de un objeto 3D utilizando imágenes de profundidad del conjunto de entrenamiento y realiza el muestreo solo cerca de la superficie estimada. Para obtener información de profundidad sobre una vista nueva, el artículo propone un método de generación de nubes de puntos 3D y un método de refinamiento simple para la profundidad proyectada desde una nube de puntos. Los resultados experimentales muestran que el marco de muestreo cercano a la superficie de NeRF propuesto puede mejorar significativamente la calidad de renderizado, en comparación con el NeRF original y tres diferentes métodos NeRF de última generación. Además, se puede acelerar significativamente el tiempo de entrenamiento de un modelo NeRF con el marco de muestreo cercano a la superficie propuesto.