Modèle de cohérence en phases

Le modèle de cohérence (CM) a récemment fait des progrès significatifs dans l'accélération de la génération de modèles de diffusion. Cependant, son application à la génération d'images textuellement conditionnées en haute résolution dans l'espace latent (également connu sous le nom de LCM) reste insatisfaisante. Dans cet article, nous identifions trois défauts clés dans la conception actuelle de LCM. Nous examinons les raisons derrière ces limitations et proposons le Modèle de Cohérence en Phases (PCM), qui généralise l'espace de conception et répond à toutes les limitations identifiées. Nos évaluations montrent que PCM surpasse significativement LCM dans des réglages de génération de 1 à 16 étapes. Bien que PCM soit spécifiquement conçu pour un affinage en plusieurs étapes, il obtient des résultats de génération en 1 étape même supérieurs ou comparables à ceux des méthodes de pointe conçues spécifiquement pour 1 étape. De plus, nous montrons que la méthodologie de PCM est polyvalente et applicable à la génération vidéo, nous permettant de former le générateur de texte à vidéo de pointe en quelques étapes. Plus de détails sont disponibles sur https://g-u-n.github.io/projects/pcm/.