Autoencoders Variacionales y ICA No Lineal: Un Marco Unificador

El marco de los autoencoders variacionales nos permite aprender de manera eficiente modelos de variables latentes profundas, de tal manera que la distribución marginal del modelo sobre las variables observadas se ajusta a los datos. A menudo, estamos interesados en dar un paso más, y queremos aproximar la verdadera distribución conjunta sobre las variables observadas y latentes, incluyendo las verdaderas distribuciones a priori y a posteriori sobre las variables latentes. Se sabe que esto es generalmente imposible debido a la no identificabilidad del modelo. Abordamos este problema mostrando que para una amplia familia de modelos de variables latentes profundas, la identificación de la verdadera distribución conjunta sobre las variables observadas y latentes es en realidad posible mediante transformaciones muy simples, logrando así una forma fundamentada y poderosa de desencadenamiento. Nuestro resultado requiere una distribución a priori factorizada sobre las variables latentes que está condicionada a una variable observada adicionalmente, como una etiqueta de clase o casi cualquier otra observación. Nos basamos en desarrollos recientes en ICA no lineal, que extendemos al caso con observaciones ruidosas, incompletas o discretas, integradas en un marco de máxima verosimilitud. El resultado también contiene trivialmente modelos generativos basados en flujo identificables como un caso especial.