Repenser les images particulières par des modèles de diffusion : Révéler le rôle des minima locaux

Les avancées significatives récentes dans les modèles de diffusion ont révolutionné la génération d'images, permettant la synthèse d'images hautement réalistes avec une guidance basée sur le texte. Ces percées ont ouvert la voie à la construction de jeux de données via l'intelligence artificielle (IA) générative, offrant un potentiel immense pour diverses applications. Cependant, deux défis critiques freinent l'adoption généralisée des données synthétisées : le coût computationnel et la génération d'images particulières. Bien que les coûts computationnels se soient améliorés grâce à diverses approches, la question de la génération d'images particulières reste relativement inexplorée. Les solutions existantes reposent sur des heuristiques, un entraînement supplémentaire ou un post-traitement basé sur l'IA pour atténuer ce problème. Dans cet article, nous présentons une approche novatrice pour aborder les deux problèmes simultanément. Nous établissons que la descente de gradient et l'échantillonnage de diffusion sont des cas spécifiques de l'algorithme de maximisation d'attente généralisée. Nous formulons l'hypothèse et démontrons empiriquement que la génération d'images particulières est semblable au problème des minima locaux en optimisation. Inspirés par les techniques d'optimisation, nous appliquons une impulsion naïve et une impulsion positive-négative à l'échantillonnage de diffusion. Enfin, nous proposons de nouvelles métriques pour évaluer la particularité. Les résultats expérimentaux montrent que l'impulsion empêche efficacement la génération d'images particulières sans computation supplémentaire.