Denoising Diffusion Wahrscheinlichkeitsmodelle sind optimal anpassungsfähig an unbekannte niedrige Dimensionalität

Das Denoising Diffusion Wahrscheinlichkeitsmodell (DDPM) hat sich als mainstream-generatives Modell in der generativen künstlichen Intelligenz etabliert. Obwohl scharfe Konvergenzgarantien für das DDPM nachgewiesen wurden, ist die Iterationskomplexität im Allgemeinen proportional zur umgebenden Datendimension, was zu einer übermäßig konservativen Theorie führt, die ihre praktische Effizienz nicht erklärt. Dies hat die jüngste Forschung motiviert, zu untersuchen, wie das DDPM Geschwindigkeitssteigerungen beim Sampling durch automatische Ausnutzung der intrinsischen niedrigen Dimensionalität von Daten erreichen kann. Wir stärken diese Linie der Arbeit, indem wir in gewissem Sinne eine optimale Anpassungsfähigkeit an unbekannte niedrige Dimensionalität demonstrieren. Für eine breite Klasse von Datenverteilungen beweisen wir, dass die Iterationskomplexität des DDPM nahezu linear mit seiner intrinsischen Dimension skaliert, die optimal ist, wenn die Kullback-Leibler-Divergenz zur Messung der Verteilungsdiskrepanz verwendet wird. Finanzierung: Y. Wei wird teilweise von der National Science Foundation (NSF) durch den Grant CCF-2418156 und den CAREER Award DMS-2143215 unterstützt. Y. Chen wird teilweise durch das Alfred P. Sloan Research Fellowship, die Grants N00014-22-1-2354 und N00014-25-1-2344 des Office of Naval Research, die NSF Grants 2221009 und 2218773, den Wharton AI & Analytics Initiative AI Research Fund und den Amazon Research Award unterstützt.