SemUV : Manipulation sémantique basée sur l'apprentissage profond sur la carte de texture UV des têtes humaines virtuelles

Concevoir et manipuler des têtes humaines virtuelles est essentiel dans diverses applications, y compris la réalité augmentée, la réalité virtuelle, les jeux, l'interaction homme-machine et les effets visuels. Les approches graphiques traditionnelles nécessitent des efforts manuels et des ressources pour atteindre une représentation précise des têtes humaines. Bien que les techniques modernes d'apprentissage profond puissent générer et éditer des images de visages hautement photoréalistes, leur attention reste principalement centrée sur les images faciales en 2D. Cette limitation les rend moins adaptées aux applications en 3D. Reconnaissant le rôle vital de l'édition dans l'espace de texture UV comme un élément clé dans le pipeline de graphisme 3D, notre travail se concentre sur cet aspect pour bénéficier aux graphistes en fournissant un contrôle et une précision améliorés dans la manipulation de l'apparence. La recherche sur les méthodes existantes dans l'espace de texture UV est limitée, complexe et pose des défis. Dans cet article, nous introduisons SemUV : une approche simple et efficace utilisant le jeu de données FFHQ-UV pour la manipulation sémantique directement dans l'espace de texture UV. Nous formons un modèle StyleGAN sur le jeu de données FFHQ-UV disponible publiquement, puis entraînons une frontière pour l'interpolation et la manipulation des caractéristiques sémantiques. Grâce à des expériences comparant notre méthode avec la technique de manipulation en 2D, nous démontrons sa capacité supérieure à préserver l'identité tout en modifiant efficacement des caractéristiques sémantiques telles que l'âge, le sexe et la pilosité faciale. Notre approche est simple, agnostique à d'autres composants 3D tels que la structure, l'éclairage et le rendu, et permet également une intégration fluide dans les pipelines graphiques 3D standard sans exiger une expertise, un temps ou des ressources étendues.