Un desafío central en la inferencia bayesiana es aproximar de manera eficiente las distribuciones posteriores. El Descenso de Gradiente Variacional de Stein (SVGD) es un método popular de inferencia variacional que transporta un conjunto de partículas para aproximar una distribución objetivo. La dinámica del SVGD está gobernada por un espacio de Hilbert de núcleos reproducentes (RKHS) y es altamente sensible a la elección de la función de núcleo, lo que influye directamente tanto en la convergencia como en la calidad de la aproximación. La heurística de mediana comúnmente utilizada ofrece un enfoque simple para establecer los anchos de banda del núcleo, pero carece de flexibilidad y, a menudo, rinde mal, particularmente en configuraciones de alta dimensión. En este trabajo, proponemos una estrategia alternativa para elegir de manera adaptativa los parámetros del núcleo sobre una familia abstracta de núcleos. Análisis recientes de convergencia basados en la discrepancia de Stein kernelizada (KSD) sugieren que optimizar los parámetros del núcleo maximizando la KSD puede mejorar el rendimiento. Basándonos en esta idea, introducimos SVGD Adaptativo (Ad-SVGD), un método que alterna entre actualizar las partículas a través de SVGD y sintonizar de manera adaptativa los anchos de banda del núcleo mediante ascenso por gradiente sobre la KSD. Proporcionamos un análisis teórico simplificado que extiende los resultados existentes sobre la minimización de la KSD para núcleos fijos a nuestro entorno adaptativo, mostrando propiedades de convergencia para la KSD máxima sobre nuestra clase de núcleos. Nuestros resultados empíricos apoyan aún más esta intuición: Ad-SVGD supera consistentemente a las heurísticas estándar en una variedad de tareas.
Melcher et al. (Jue,) estudiaron esta pregunta.