Rotation-et-Rendu : Rotation Faciale Photorealiste Non Supervisionnée à Partir d'Images à Vue Unique

Bien que la rotation faciale ait connu des progrès rapides ces dernières années, le manque de données d'entraînement appariées de haute qualité demeure un grand obstacle pour les méthodes existantes. Les modèles génératifs actuels s'appuient fortement sur des ensembles de données contenant des images à plusieurs vues de la même personne. Ainsi, leurs résultats générés sont limités par l'échelle et le domaine de la source de données. Pour surmonter ces défis, nous proposons un nouveau cadre non supervisé qui peut synthétiser des visages tournés photoréalistes en utilisant uniquement des collections d'images à vue unique dans des environnements naturels. Notre idée clé est que la rotation des visages dans l'espace 3D d'avant en arrière, et leur rendu à nouveau sur le plan 2D peut servir de forte auto-supervision. Nous utilisons les avancées récentes dans la modélisation faciale 3D et le GAN haute résolution pour constituer nos éléments de base. Puisque la rotation et le rendu 3D sur les visages peuvent être appliqués à des angles arbitraires sans perte de détails, notre approche est extrêmement adaptée aux scénarios naturels (c'est-à-dire que aucune donnée appariée n'est disponible), où les méthodes existantes sont insuffisantes. Des expériences approfondies montrent que notre approche a une qualité de synthèse supérieure ainsi qu'une préservation de l'identité par rapport aux méthodes à la pointe, sur une large gamme de poses et de domaines. De plus, nous validons que notre cadre de rotation et de rendu peut naturellement servir d'un moteur d'augmentation de données efficace pour améliorer les systèmes de reconnaissance faciale modernes même sur des modèles de base solides.