UVMap-ID: Um Modelo Gerador de Mapas UV Controlável e Personalizado

Recentemente, os modelos de difusão deram passos significativos na síntese de imagens humanas 2D realistas com base em prompts de texto fornecidos. Baseando-se nisso, os pesquisadores expandiram modelos de difusão de texto para imagem 2D para o domínio 3D com o objetivo de gerar texturas humanas (Mapas UV). No entanto, alguns problemas importantes sobre modelos geradores de Mapas UV ainda não foram resolvidos, ou seja, como gerar mapas de textura personalizados para qualquer imagem facial dada, e como definir e avaliar a qualidade desses mapas de textura gerados. Para resolver os problemas acima, introduzimos um método inovador, UVMap-ID, que é um modelo gerador de Mapas UV controlável e personalizado. Ao contrário dos métodos tradicionais de treinamento em larga escala em 2D, propomos ajustar finamente um modelo de difusão de texto para imagem pré-treinado que é integrado com um módulo de fusão facial para alcançar uma geração personalizada orientada por ID. Para apoiar a estratégia de ajuste fino, introduzimos um conjunto de dados de treinamento balanceado em pequena escala, incluindo texturas de alta qualidade com texto rotulado e Face ID. Além disso, introduzimos algumas métricas para avaliar os múltiplos aspectos das texturas. Por fim, tanto as análises quantitativas quanto qualitativas demonstram a eficácia do nosso método na geração controlável e personalizada de Mapas UV. O código está disponível publicamente em https://github.com/twowwj/UVMap-ID.