Génération de croquis guidée par des attributs

Les attributs faciaux sont importants car ils fournissent une description détaillée et déterminent l'apparence visuelle des visages humains. Dans cet article, nous visons à convertir une image de visage en croquis tout en générant simultanément des attributs faciaux. À cette fin, nous proposons un nouveau Réseau Adversarial Génératif Guidé par des Attributs (ASGAN) qui est un cadre de bout en bout et contient deux paires de générateurs et de discriminants, dont l'un est utilisé pour générer des visages avec des attributs tandis que l'autre est employé pour la traduction image vers croquis. Les deux générateurs forment un réseau en forme de W (réseau W) et ils sont entraînés conjointement avec une contrainte de partage de poids. De plus, nous proposons également deux nouveaux discriminants, l'un résiduel se concentrant sur la génération d'attributs et l'autre triplex aidant à générer des croquis réalistes. Pour valider notre modèle, nous avons créé un nouveau grand ensemble de données avec 8 804 images, nommé l'ensemble de données Photo de visage et croquis d'attribut (AFPS), qui est le premier ensemble de données contenant des attributs associés aux images de croquis de visage. Les résultats expérimentaux démontrent que le réseau proposé (i) génère des visages plus photo-réalistes avec des attributs faciaux plus nets que les références et (ii) a une bonne capacité de généralisation pour différentes tâches génératives.