NeAT: Aprendizaje de Superficies Implícitas Neurales con Topologías Arbitrarias a partir de Imágenes de Múltiples Vistas

Los avances recientes en funciones implícitas neuronales han establecido un nuevo estándar en la reconstrucción de formas 3D de alta fidelidad a partir de una colección de imágenes. Sin embargo, estos enfoques están limitados a superficies cerradas ya que requieren que la superficie esté representada por un campo de distancia firmada. En este artículo, proponemos NeAT, un nuevo marco de renderizado neuronal que puede aprender superficies implícitas con topologías arbitrarias a partir de imágenes de múltiples vistas. En particular, NeAT representa la superficie 3D como un conjunto de nivel de una función de distancia firmada (SDF) con una rama de validez para estimar la probabilidad de existencia de la superficie en las posiciones de consulta. También desarrollamos un nuevo método de renderizado de volumen neuronal, que utiliza SDF y validez para calcular la opacidad del volumen y evita renderizar puntos con baja validez. NeAT admite una fácil conversión de campo a malla utilizando el clásico algoritmo Marching Cubes. Experimentos extensivos en los conjuntos de datos DTU 20, MGN 4 y Deep Fashion 3D 19 indican que nuestro enfoque es capaz de reconstruir fielmente tanto superficies herméticas como no herméticas. En particular, NeAT supera significativamente a los métodos de última generación en la tarea de reconstrucción de superficies abiertas tanto cuantitativa como cualitativamente.