Manipulation photoréaliste des attributs faciaux en tenant compte des masques

La technique de manipulation des attributs faciaux a trouvé une application croissante, mais il reste difficile de restreindre l'édition des attributs afin de préserver les détails uniques d'un visage. Dans cet article, nous introduisons notre méthode, que nous appelons un autoencodeur antagoniste à masque (M-AAE). Elle combine un autoencodeur variationnel (VAE) et un réseau antagoniste génératif (GAN) pour la génération d'images photoréalistes. Nous utilisons des couches dilatées partielles pour modifier quelques pixels dans les cartes de caractéristiques d'un encodeur, changeant la force de l'attribut de manière continue sans entraver l'information globale. Nos objectifs d'entraînement pour le VAE et le GAN sont renforcés par la supervision de la perte de reconnaissance faciale et de la perte de cohérence de cycle, afin de préserver fidèlement les détails faciaux. De plus, nous générons des masques faciaux pour renforcer la cohérence de l'arrière-plan, ce qui permet à notre entraînement de se concentrer sur le visage au premier plan plutôt que sur l'arrière-plan. Les résultats expérimentaux démontrent que notre méthode peut générer des images de haute qualité avec des attributs variés et surpasse les méthodes existantes en préservation des détails.