Unique3D: Generación de Mallas 3D de Alta Calidad y Eficiente a Partir de una Imagen

En este trabajo, presentamos Unique3D, un nuevo marco de imagen a 3D para generar eficientemente mallas 3D de alta calidad a partir de imágenes de vista única, con una fidelidad de generación de vanguardia y una fuerte generalización. Los métodos anteriores basados en la Muestra de Destilación de Puntajes (SDS) pueden producir resultados 3D diversificados al destilar conocimiento 3D de grandes modelos de difusión 2D, pero generalmente sufren de largos tiempos de optimización por caso con problemas inconsistentes. Trabajos recientes abordan el problema y generan mejores resultados 3D ya sea afinando un modelo de difusión de múltiples vistas o entrenando un modelo de avance rápido. Sin embargo, aún carecen de texturas intrincadas y geometrías complejas debido a la inconsistencia y a la resolución generada limitada. Para lograr simultáneamente alta fidelidad, consistencia y eficiencia en la conversión de una sola imagen a 3D, proponemos un nuevo marco Unique3D que incluye un modelo de difusión de múltiples vistas con un modelo de difusión normal correspondiente para generar imágenes de múltiples vistas con sus mapas normales, un proceso de escalado de múltiples niveles para mejorar progresivamente la resolución de las vistas ortográficas generadas, así como un algoritmo de reconstrucción de mallas instantáneo y consistente llamado ISOMER, que integra completamente los priors de color y geométricos en los resultados de la malla. Experimentos extensos demuestran que nuestro Unique3D supera significativamente otras líneas de base de imagen a 3D en términos de detalles geométricos y texturales.