Extraction de croquis de visage stylisés via un préalable génératif avec des données limitées

Résumé Les croquis faciaux sont à la fois un moyen concis de montrer l'identité d'une personne et un moyen d'exprimer une intention artistique. Bien que quelques techniques aient récemment émergé permettant d'extraire des croquis dans différents styles, elles reposent généralement sur une grande quantité de données difficile à obtenir. Ici, nous proposons StyleSketch, une méthode pour extraire des croquis stylisés haute résolution à partir d'une image de visage. En utilisant les riches sémantiques des caractéristiques profondes d'un StyleGAN préentraîné, nous sommes en mesure d'entraîner un générateur de croquis avec 16 paires d'images de visage et les croquis correspondants. Le générateur de croquis utilise des pertes basées sur des parties avec un apprentissage en deux étapes pour une convergence rapide lors de l'entraînement pour une extraction de croquis de haute qualité. À travers une série de comparaisons, nous montrons que StyleSketch surpasse les méthodes d'extraction de croquis existantes à l'état de l'art et les méthodes d'adaptation d'image à quelques exemples pour la tâche d'extraction de croquis faciaux abstraits haute résolution. Nous démontrons également la polyvalence de StyleSketch en étendant son utilisation à d'autres domaines et explorons la possibilité de l'édition sémantique. La page du projet peut être trouvée à l'adresse https://kwanyun.github.io/stylesketchₚroject.