Une bonne semence produit une bonne récolte : Découverte des semences secrètes dans les modèles de diffusion texte-image

Les récents progrès dans les modèles de diffusion texte-image (T2I) ont facilité la synthèse d'images créatives et photoréalistes. En faisant varier les semences aléatoires, nous pouvons générer différentes images pour un prompt textuel fixe. Techniquement, la semence contrôle le bruit initial et, lors de l'inférence de diffusion en plusieurs étapes, le bruit utilisé pour la reparamétrisation à des temps intermédiaires dans le processus de diffusion inverse. Cependant, l'impact spécifique de la semence aléatoire sur les images générées reste relativement inexploré. Dans ce travail, nous menons une étude scientifique à grande échelle sur l'impact des semences aléatoires pendant l'inférence de diffusion. Remarkablement, nous révélons que la meilleure semence 'dorée' a atteint un FID impressionnant de 21,60, comparé au FID de 31,97 de la pire semence 'inférieure'. De plus, un classificateur peut prédire le numéro de semence utilisé pour générer une image avec plus de 99,9 % de précision en seulement quelques époques, établissant que les semences sont hautement discernables sur la base des images générées. Encouragés par ces découvertes, nous avons examiné l'influence des semences sur des dimensions visuelles interprétables. Nous constatons que certaines semences produisent systématiquement des images en niveaux de gris, des régions de ciel prononcées ou des bordures d'images. Les semences affectent également la composition de l'image, y compris l'emplacement, la taille et la profondeur des objets. De plus, en tirant parti de ces semences 'dorées', nous démontrons une génération d'images améliorée, telle que l'inférence de haute fidélité et l'échantillonnage diversifié. Notre enquête s'étend aux tâches de inpainting, où nous découvrons certaines semences qui tendent à insérer des artefacts textuels indésirables. Dans l'ensemble, nos analyses approfondies soulignent l'importance de choisir de bonnes semences et offrent une utilité pratique pour la génération d'images.