Inferencia variacional para mezclas de procesos de Dirichlet

Los modelos de mezcla de procesos de Dirichlet (DP) son la piedra angular de la estadística bayesiana no paramétrica, y el desarrollo de métodos de muestreo de cadenas de Markov de Monte-Carlo (MCMC) para mezclas de DP ha permitido la aplicación de métodos bayesianos no paramétricos a una variedad de problemas prácticos de análisis de datos. Sin embargo, el muestreo MCMC puede ser prohibitivamente lento, y es importante explorar alternativas. Una clase de alternativas es proporcionada por métodos variacionales, una clase de algoritmos deterministas que convierten problemas de inferencia en problemas de optimización (Opper y Saad 2001; Wainwright y Jordan 2003). Hasta ahora, los métodos variacionales se han explorado principalmente en el contexto paramétrico, en particular dentro del formalismo de la familia exponencial (Attias 2000; Ghahramani y Beal 2001; Blei et al. 2003). En este artículo, presentamos un algoritmo de inferencia variacional para mezclas de DP. Presentamos experimentos que comparan el algoritmo con algoritmos de muestreo de Gibbs para mezclas de Gaussiana y presentamos una aplicación a un problema de análisis de imágenes a gran escala.