AvatarCraft: Transformando Texto en Avatares Humanos Neurales con Control Parametrizado de Forma y Pose

Los campos implícitos neurales son poderosos para representar escenas 3D y generar vistas novedosas de alta calidad, pero sigue siendo un desafío utilizar tales representaciones implícitas para crear un avatar humano 3D con una identidad específica y un estilo artístico que pueda ser fácilmente animado. Nuestro método propuesto, AvatarCraft, aborda este desafío utilizando modelos de difusión para guiar el aprendizaje de la geometría y la textura para un avatar neural basado en un único aviso de texto. Diseñamos cuidadosamente el marco de optimización de campos implícitos neurales, incluyendo una estrategia de entrenamiento de cajas delimitadoras múltiples de grueso a fino, regularización de forma y restricciones basadas en difusión, para producir geometría y textura de alta calidad. Además, hacemos que el avatar humano sea animable deformando el campo implícito neural con un campo de deformación explícito que mapea la malla humana objetivo a una malla humana plantilla, ambas representadas utilizando modelos humanos paramétricos. Esto simplifica la animación y remodelación del avatar generado al controlar parámetros de pose y forma. Experimentos extensos en varias descripciones de texto muestran que AvatarCraft es efectivo y robusto para crear avatares humanos y renderizar vistas, poses y formas novedosas. Nuestra página del proyecto es: https://avatar-craft.github.io/.