Diffusion décalée pour la génération d'images à partir de texte

Nous présentons Corgi, une méthode novatrice pour la génération d'images à partir de texte. Corgi est basé sur notre modèle de diffusion décalée proposé, qui parvient à générer de meilleures images à partir de texte d'entrée. Contrairement au modèle de diffusion de référence utilisé dans DALL-E 2, notre méthode encode de manière transparente les connaissances préalables du modèle CLIP pré-entraîné dans son processus de diffusion en concevant une nouvelle distribution d'initialisation et une nouvelle étape de transition de la diffusion. Comparé à la référence solide DALL-E 2, notre méthode obtient de meilleurs résultats pour la génération d'images à partir du texte en termes d'efficacité et d'efficacité, ce qui entraîne une meilleure génération d'images à partir de texte. D'importantes expériences à grande échelle ont été menées et évaluées tant en termes de mesures quantitatives que d'évaluation humaine, indiquant une plus grande capacité de génération de notre méthode par rapport aux méthodes existantes. De plus, notre modèle permet un entraînement semi-supervisé et sans langue pour la génération d'images à partir de texte, où seule une partie ou aucune des images du jeu de données d'entraînement n'a de légende associée. Entraîné avec seulement 1,7 % des images étant légendées, notre modèle semi-supervisé obtient des résultats FID comparables à DALL-E 2 lors de la génération d'images à partir de texte en mode sans échantillon évalué sur MS-COCO. Corgi atteint également de nouveaux résultats de pointe sur différents ensembles de données pour des tâches de génération d'images à partir de texte sans langue, surpassant la méthode précédente, Lafite, de manière significative.