SwapGAN : Une approche générative multistade pour le transfert de style vestimentaire de personne à personne

Le transfert de style vestimentaire a suscité une attention significative en raison des défis scientifiques intéressants qu'il pose et de son importance pour l'industrie de la mode. Cet article se concentre sur la résolution d'un problème pratique dans le transfert de style vestimentaire, l'échange de vêtements de personne à personne, qui vise à visualiser à quoi ressemblerait une personne avec les vêtements cibles portés par une autre personne au lieu de les habiller physiquement. Ce problème reste difficile en raison des déformations de pose variées entre les différentes images de personnes. Contrairement aux méthodes non paramétriques traditionnelles qui mélangent ou déforment les vêtements cibles pour la personne de référence, dans cet article, nous proposons une approche générative profonde multistade nommée SwapGAN qui exploite trois générateurs et un discriminateur dans un cadre unifié pour réaliser la tâche de bout en bout. Les premier et deuxième générateurs sont conditionnés sur une carte de pose humaine et une carte de segmentation, respectivement, afin que nous puissions simultanément transférer le style de pose et le style des vêtements. De plus, le troisième générateur est utilisé pour préserver la forme du corps humain pendant le processus de synthèse d'image. Le discriminateur doit distinguer deux paires d'images fausses de la paire d'images réelles. L'ensemble de SwapGAN est entraîné en intégrant la perte d'adversarial et la perte de cohérence de masque. Les résultats expérimentaux sur le dataset DeepFashion démontrent les améliorations de SwapGAN par rapport à d'autres approches existantes à travers des évaluations quantitatives et qualitatives. De plus, nous menons des études d'ablation sur SwapGAN et fournissons une analyse détaillée de son efficacité.