ClipFace : Édition guidée par le texte de modèles morphables 3D texturés

Nous proposons ClipFace, une nouvelle approche auto-supervisée pour l'édition guidée par le texte de modèles morphables 3D texturés de visages. Plus précisément, nous utilisons des invites linguistiques conviviales pour permettre le contrôle des expressions ainsi que de l'apparence des visages 3D. Nous tirons parti de l'expressivité géométrique des modèles morphables 3D, qui possèdent intrinsèquement une contrôlabilité et une expressivité de texture limitées, et développons un modèle génératif auto-supervisé pour synthétiser conjointement des visages expressifs, texturés et articulés en 3D. Nous permettons une génération de texture de haute qualité pour des visages 3D grâce à un entraînement auto-supervisé adversarial, guidé par un rendu différentiable contre des collections d'images RGB réelles. L'édition et la manipulation contrôlées sont fournies par des invites linguistiques pour adapter la texture et l'expression du modèle morphable 3D. À cette fin, nous proposons un réseau neuronal qui prédit à la fois les codes latents de texture et d'expression du modèle morphable. Notre modèle est entraîné de manière auto-supervisée en exploitant le rendu différentiable et des pertes basées sur un modèle CLIP pré-entraîné. Une fois entraîné, notre modèle prédit simultanément les textures de visage dans l'espace UV, ainsi que les paramètres d'expression pour capturer à la fois les changements de géométrie et de texture dans les expressions faciales en une seule passe avant. Nous montrons en outre l'applicabilité de notre méthode pour générer des textures changeant temporellement pour une séquence d'animation donnée.