Un cadre simple de sortie anticipée pour un échantillonnage accéléré dans les modèles de diffusion

Les modèles de diffusion ont montré des performances remarquables dans des problèmes de génération sur divers domaines, y compris les images, les vidéos, le texte et l’audio. Un goulot d'étranglement pratique des modèles de diffusion est leur vitesse d'échantillonnage, en raison de l'évaluation répétée des réseaux d'estimation de score pendant l'inférence. Dans ce travail, nous proposons un cadre novateur capable d'allouer de manière adaptative le calcul requis pour l'estimation du score, réduisant ainsi le temps d'échantillonnage global des modèles de diffusion. Nous observons que la quantité de calcul nécessaire pour l'estimation du score peut varier au cours du pas de temps pour lequel le score est estimé. Sur la base de cette observation, nous proposons un schéma de sortie anticipée, où nous sautons le sous-ensemble de paramètres dans le réseau d'estimation de score pendant l'inférence, en fonction d'un calendrier de sortie dépendant du temps. En utilisant les modèles de diffusion pour la synthèse d'images, nous montrons que notre méthode pourrait améliorer significativement le débit d'échantillonnage des modèles de diffusion sans compromettre la qualité de l'image. De plus, nous démontrons également que notre méthode s'intègre parfaitement avec divers types de solveurs pour un échantillonnage plus rapide, capitalisant sur leur compatibilité pour améliorer l'efficacité globale. Le code source et nos expériences sont disponibles sur https://github.com/taehong-moon/ee-diffusion.