Repenser le modèle de diffusion en haute dimension

Le fléau de la dimensionnalité est un défi inévitable dans les modèles de probabilité statistique, pourtant les modèles de diffusion semblent surmonter cette limitation, obtenant des résultats impressionnants dans la génération de données en haute dimension. Les modèles de diffusion supposent qu'ils peuvent apprendre les quantités statistiques de la distribution de probabilité sous-jacente, permettant l'échantillonnage de cette distribution pour générer des échantillons réalistes. Mais est-ce vraiment ainsi qu'ils fonctionnent ? Nous soutenons que non, sur la base des observations suivantes : 1) Dans des scénarios épars en haute dimension, l'objectif de la fonction de perte du modèle de diffusion se dégrade d'une somme pondérée de plusieurs échantillons à un seul échantillon, ce qui entrave, selon nous, la capacité du modèle à apprendre efficacement des quantités statistiques essentielles telles que la postérieure, le score ou le champ de vitesse. 2) La plupart des méthodes d'inférence peuvent être unifiées au sein d'un cadre simple qui ne comporte aucun concept statistique, s'aligne avec la fonction de perte dégradée et offre une perspective nouvelle et intuitive sur le processus d'inférence.