Generación de imágenes faciales desenredadas y controlables a través de aprendizaje imitativo-contrastivo 3D

Proponemos un enfoque para la generación de imágenes faciales de personas virtuales con representaciones latentes desenredadas y controlables de manera precisa para la identidad de personas no existentes, expresión, pose e iluminación. Incorporamos priors 3D en el aprendizaje adversarial y entrenamos la red para imitar la formación de imágenes de un proceso analítico de deformación y renderizado facial 3D. Para abordar la libertad de generación inducida por la brecha de dominio entre rostros reales y renderizados, introducimos además el aprendizaje contrastivo para promover el desenredo al comparar pares de imágenes generadas. Los experimentos muestran que, a través de nuestro aprendizaje imitativo-contrastivo, las variaciones de factores están muy bien desenredadas y las propiedades de un rostro generado pueden ser controladas de manera precisa. También analizamos el espacio latente aprendido y presentamos varias propiedades significativas que respaldan el desenredo de factores. Nuestro método también se puede utilizar para incrustar imágenes reales en el espacio latente desenredado. Esperamos que nuestro método pueda proporcionar nuevas comprensiones de la relación entre propiedades físicas y la síntesis profunda de imágenes.