Apprentissage d'un Modèle Invariant à la Pose de Haute Fidélité pour la Frontalisation de Visages en Haute Résolution

La frontalisation de visage fait référence au processus de synthèse de la vue de face d'un visage à partir d'un profil donné. En raison de l'auto-occlusion et de la distorsion d'apparence dans la nature, il est extrêmement difficile d'obtenir des résultats fidèles et de préserver les détails de texture en haute résolution. Cet article propose un Modèle Invariant à la Pose de Haute Fidélité (HF-PIM) pour produire des résultats photographiques et préservant l'identité. Le HF-PIM frontalise les profils à travers une nouvelle procédure de déformation de texture et tire parti d'un champ de correspondance dense pour relier les espaces de surface 2D et 3D. Nous décomposons le préalable de déformation en estimation de champ de correspondance dense et récupération de carte de texture faciale, qui sont tous deux bien abordés par des réseaux profonds. Différemment de ces méthodes de reconstruction reposant sur des données 3D, nous proposons également l'Apprentissage de Dictionnaire Résiduel Adversaire (ARDL) pour superviser la récupération de la carte de texture faciale avec uniquement des images monoculaires. Des expériences exhaustives dans des environnements contrôlés et non contrôlés montrent que la méthode proposée non seulement améliore les performances de reconnaissance de visage invariant à la pose, mais améliore aussi considérablement les apparences de frontalisation en haute résolution.