DPM-Solver : Un solveur ODE rapide pour l'échantillonnage de modèles probabilistes de diffusion en environ 10 étapes

Les modèles probabilistes de diffusion (DPM) émergent comme des modèles génératifs puissants. Malgré leur performance d génération de haute qualité, les DPM souffrent encore de leur échantillonnage lent, car ils nécessitent généralement des centaines ou des milliers d'évaluations de fonctions (étapes) séquentielles de grands réseaux de neurones pour tirer un échantillon. Échantillonner des DPM peut être vu alternativement comme la résolution des équations différentielles ordinaires (EDO) de diffusion correspondantes. Dans ce travail, nous proposons une formulation exacte de la solution des EDO de diffusion. La formulation calcule analytiquement la partie linéaire de la solution, plutôt que de laisser tous les termes aux solveurs EDO boîte noire comme adoptés dans les travaux précédents. En appliquant un changement de variable, la solution peut être simplifiée équivalemment en une intégrale pondérée exponentiellement du réseau de neurones. Sur la base de notre formulation, nous proposons DPM-Solver, un solveur dédié rapide de haut ordre pour les EDO de diffusion avec garantie d'ordre de convergence. DPM-Solver est adapté tant pour les DPM à temps discret que pour ceux à temps continu sans formation supplémentaire. Les résultats expérimentaux montrent que DPM-Solver peut générer des échantillons de haute qualité en seulement 10 à 20 évaluations de fonctions sur divers ensembles de données. Nous atteignons 4.70 FID en 10 évaluations de fonctions et 2.87 FID en 20 évaluations de fonctions sur l'ensemble de données CIFAR10, et un gain de vitesse de 4.16 par rapport aux échantillonneurs sans formation de pointe précédents sur divers ensembles de données.