Des parties au tout : un cadre de référence unifié pour la génération d'images humaines contrôlables

Les avancées récentes dans la génération d'images humaines contrôlables ont conduit à une génération sans échantillon utilisant des signaux structurels (par exemple, la pose, la profondeur) ou l'apparence faciale. Cependant, générer des images humaines conditionnées à partir de plusieurs parties de l'apparence humaine reste un défi. Pour y remédier, nous introduisons Parts2Whole, un nouveau cadre conçu pour générer des portraits personnalisés à partir de plusieurs images de référence, y compris des images de pose et divers aspects de l'apparence humaine. Pour ce faire, nous développons d'abord un encodeur d'apparence prenant en compte le sémantique pour retenir les détails de différentes parties humaines, qui traite chaque image en fonction de son étiquette textuelle en une série de cartes de caractéristiques multi-échelles plutôt qu'en un seul jeton d'image, préservant ainsi la dimension de l'image. Deuxièmement, notre cadre prend en charge la génération conditionnée par plusieurs images grâce à un mécanisme d'auto-attention partagé qui opère sur les caractéristiques de référence et cibles durant le processus de diffusion. Nous améliorons le mécanisme d'attention de base en incorporant des informations de masque provenant des images humaines de référence, permettant une sélection précise de n'importe quelle partie. Des expérimentations approfondies démontrent la supériorité de notre approche par rapport aux alternatives existantes, offrant des capacités avancées pour la personnalisation d'images humaines contrôlables à plusieurs parties. Consultez notre page de projet à https://huanngzh.github.io/Parts2Whole/.