Algoritmos de Langevin de Partículas Interactuantes Proximales

Introducimos una clase de algoritmos, denominados Algoritmos de Langevin de Partículas Interactuantes Proximales (PIPLA), para la inferencia y el aprendizaje en modelos de variables latentes cuya densidad de probabilidad conjunta no es diferenciable. Aprovechando las técnicas de Monte Carlo por cadenas de Markov proximales (MCMC) y el algoritmo de Langevin de partículas interactuantes (IPLA) recientemente introducido, proponemos varias variantes dentro de la nueva familia proximal de IPLA, adaptadas al problema de estimar parámetros en un modelo estadístico no diferenciable. Demostramos límites no asintóticos para las estimaciones de parámetros producidas por múltiples algoritmos en un entorno fuertemente log-concavo y proporcionamos experimentos numéricos completos en varios modelos para demostrar la efectividad de los métodos propuestos. En particular, demostramos la utilidad de la familia de algoritmos propuesta en un ejemplo jerárquico de juguete donde se pueden verificar nuestras suposiciones, así como en los problemas de regresión logística bayesiana escasa, red neuronal bayesiana escasa y completación de matrices escasas. Nuestra teoría y experimentos muestran en conjunto que la familia PIPLA puede ser la elección de facto para problemas de estimación de parámetros en modelos de variables latentes para modelos no diferenciables.