SGDiff : Un Modèle de Diffusion Guidé par le Style pour la Synthèse de Mode

Cet article rapporte le développement d'un nouveau modèle de diffusion guidé par le style (SGDiff) qui surmonte certaines faiblesses inhérentes aux modèles existants pour la synthèse d'images. Le SGDiff proposé combine la modalité d'image avec un modèle de diffusion texte-à-image préentraîné pour faciliter la synthèse créative d'images de mode. Il aborde les limites des modèles de diffusion texte-à-image en incorporant une guidance de style supplémentaire, réduisant substantiellement les coûts d'entraînement et surmontant les difficultés de contrôle des styles synthétisés avec des entrées uniquement textuelles. Cet article introduit également un nouvel ensemble de données -- SG-Fashion, spécifiquement conçu pour les applications de synthèse d'images de mode, offrant des images haute résolution et une large gamme de catégories de vêtements. Grâce à une étude d'ablation complète, nous examinons l'application de la guidance sans classificateur à diverses conditions et validons l'efficacité du modèle proposé pour générer des images de mode des catégories, attributs de produits et styles souhaités. Les contributions de cet article incluent une nouvelle méthode de guidance sans classificateur pour la fusion de caractéristiques multimodales, un ensemble de données complet pour l'application de synthèse d'images de mode, une étude approfondie sur la synthèse texte-à-image conditionnée, et des perspectives précieuses pour la recherche future dans le domaine de la synthèse texte-à-image. Le code et l'ensemble de données sont disponibles à : https://github.com/taited/SGDiff.