Muestreo con flujos, difusión y redes neuronales autoregresivas desde una perspectiva de vidrio de espín

En los últimos años, se ha visto el desarrollo de poderosos modelos generativos basados en flujos, difusión o redes neuronales autoregresivas, logrando un éxito notable en la generación de datos a partir de ejemplos con aplicaciones en una amplia variedad de áreas. Sin embargo, un análisis teórico del rendimiento y comprensión de las limitaciones de estos métodos sigue siendo un desafío. En este artículo, damos un paso en esta dirección analizando la eficiencia del muestreo por estos métodos en una clase de problemas con una distribución de probabilidad conocida y comparándola con el rendimiento de muestreo de métodos más tradicionales como la cadena de Markov de Monte Carlo y la dinámica de Langevin. Nos enfocamos en una clase de distribuciones de probabilidad ampliamente estudiadas en la física estadística de sistemas desordenados que se relacionan con vidrios de espín, inferencia estadística y problemas de satisfacción de restricciones. Aprovechamos el hecho de que el muestreo mediante métodos basados en flujos, basados en difusión o redes autoregresivas puede ser mapeado de manera equivalente al análisis de un desruido óptimo de Bayes de una medida de probabilidad modificada. Nuestros hallazgos demuestran que estos métodos enfrentan dificultades en el muestreo derivadas de la presencia de una transición de fase de primer orden a lo largo del camino de desruido del algoritmo. Nuestras conclusiones son en ambos sentidos: identificamos regiones de parámetros donde estos métodos son incapaces de muestrear de manera eficiente, mientras que eso es posible utilizando enfoques estándar de Monte Carlo o Langevin. También identificamos regiones donde ocurre lo contrario: los enfoques estándar son ineficientes mientras que los métodos generativos discutidos funcionan bien.