UltraPixel : Élever la synthèse d'images ultra-haute résolution à de nouveaux sommets

La génération d'images ultra-haute résolution pose de grands défis, tels qu'une complexité accrue de planification sémantique et des difficultés de synthèse des détails, tout en exigeant des ressources d'entraînement substantielles. Nous présentons UltraPixel, une architecture novatrice utilisant des modèles de diffusion en cascade pour générer des images de haute qualité à plusieurs résolutions (par ex., de 1K à 6K) au sein d'un modèle unique, tout en maintenant l'efficacité computationnelle. UltraPixel exploite des représentations riches en sémantique d'images de moindre résolution dans la phase de débruitage ultérieure pour guider la génération entière d'images très détaillées en haute résolution, réduisant significativement la complexité. De plus, nous introduisons des représentations neurales implicites pour un sur-échantillonnage continu et des couches de normalisation conscientes de l'échelle adaptables à diverses résolutions. Notamment, les processus de basse et haute résolution sont exécutés dans l'espace le plus compact, partageant la majorité des paramètres avec moins de 3 % de paramètres supplémentaires pour les sorties en haute résolution, améliorant ainsi largement l'efficacité de l'entraînement et de l'inférence. Notre modèle atteint un entraînement rapide avec des besoins en données réduits, produisant des images en haute résolution photoréalistes et démontrant des performances de pointe dans des expériences approfondies.