Aproximaciones Laplace Estructuradas en Línea Para Superar el Olvido Catastrófico

Presentamos la aproximación Laplace en línea con factorización de Kronecker para superar el olvido catastrófico en redes neuronales. El método está fundamentado en un marco de aprendizaje en línea bayesiano, donde aproximamos recursivamente la distribución posterior después de cada tarea con una gaussiana, lo que lleva a una penalización cuadrática sobre los cambios en los pesos. La aproximación Laplace requiere calcular la Hessiana alrededor de un modo, lo que suele ser intractable para arquitecturas modernas. Con el fin de hacer que nuestro método sea escalable, aprovechamos las recientes aproximaciones de Kronecker con diagonal bloque a la curvatura. Nuestro algoritmo logra más del 90% de precisión en las pruebas a través de una secuencia de 50 instanciaciones del conjunto de datos MNIST permutado, superando sustancialmente a métodos relacionados para superar el olvido catastrófico.