Key points are not available for this paper at this time.
Apresentamos uma nova estrutura para geração e personalização de avatares humanos em 3D, aproveitando prompts de texto para aumentar o engajamento e a personalização do usuário. Central para nossa abordagem estão inovações-chave destinadas a superar os desafios na síntese de avatares foto-realistas. Primeiramente, utilizamos um modelo de Campos de Radiação Neural (NeRF) condicional, treinado em um conjunto de dados multivista não anotado de grande escala, para criar um espaço de solução inicial versátil que acelera e diversifica a geração de avatares. Em segundo lugar, desenvolvemos um prior geométrico, aproveitando as capacidades de Modelos de Difusão de Texto para Imagem, para garantir superior invariância de visão e possibilitar a otimização direta da geometria do avatar. Essas ideias fundamentais são complementadas por nosso pipeline de otimização construído com a Destilação de Pontuação Variacional (VSD), que mitiga a perda de textura e problemas de super-saturação. Como suportado por nossos extensos experimentos, essas estratégias permitem coletivamente a criação de avatares personalizados com qualidade visual inigualável e melhor adesão aos prompts de texto de entrada. Você pode encontrar mais resultados e vídeos em nosso site: https://syntec-research.github.io/MagicMirror
Comas-Massagué et al. (Mon,) estudaram essa questão.