Text2Tex: Síntesis de Textura Impulsada por Texto a Través de Modelos de Difusión

Presentamos Text2Tex, un nuevo método para generar texturas de alta calidad para mallas 3D a partir de los mensajes de texto dados. Nuestro método incorpora la pintura en áreas en un modelo de difusión de imágenes consciente de la profundidad previamente entrenado para sintetizar progresivamente texturas parciales de alta resolución desde múltiples puntos de vista. Para evitar acumular artefactos inconsistentes y estirados a través de las vistas, segmentamos dinámicamente la vista renderizada en una máscara de generación, que representa el estado de generación de cada texel visible. Esta representación de vista particionada guía al modelo de pintura en áreas consciente de la profundidad para generar y actualizar texturas parciales para las regiones correspondientes. Además, proponemos un esquema automático de generación de secuencias de vista para determinar la siguiente mejor vista para actualizar la textura parcial. Experimentos extensivos demuestran que nuestro método supera significativamente los enfoques impulsados por texto existentes y los métodos basados en GAN.