Fallos de Inferencia Variacional Bajo Simetrías del Modelo: Posteriores Invariantes a Permutaciones para Redes Neuronales Bayesianas

Las simetrías en el espacio de pesos en arquitecturas de redes neuronales, como las simetrías de permutación en MLPs, dan lugar a posteriores de redes neuronales bayesianas (BNN) con muchos modos equivalentes. Esta multimodalidad presenta un desafío para las técnicas de inferencia variacional (VI), que generalmente se basan en aproximar el posterior con una distribución unimodal. En este trabajo, investigamos el impacto de las simetrías de permutación en el espacio de pesos en la VI. Demostramos, tanto teórica como empíricamente, que estas simetrías conducen a sesgos en el posterior aproximado, lo que degrada el rendimiento predictivo y el ajuste posterior si no se tiene en cuenta de forma explícita. Para mitigar este comportamiento, aprovechamos la estructura simétrica del posterior y diseñamos un mecanismo de simetrización para construir posteriores variacionales invariantes a permutaciones. Mostramos que la distribución simetrizada tiene un ajuste estrictamente mejor al posterior verdadero, y que se puede entrenar utilizando el objetivo ELBO original con un término de regularización KL modificado. Demostramos experimentalmente que nuestro enfoque mitiga los sesgos mencionados y resulta en predicciones mejoradas y un ELBO más alto.