Factorización de Matrices Dispersas

Investigamos el problema de factorizar una matriz en varias matrices dispersas y proponemos un algoritmo para esto bajo suposiciones de aleatoriedad y dispersidad. Este problema se puede ver como una simplificación del problema de aprendizaje profundo donde encontrar una factorización corresponde a encontrar aristas en diferentes capas y valores de unidades ocultas. Demostramos que bajo ciertas suposiciones para una red profunda lineal dispersa con n nodos en cada capa, nuestro algoritmo es capaz de recuperar la estructura de la red y los valores de las unidades ocultas de la capa superior para profundidades de hasta O (n^1/6). Además, discutimos la relación entre la factorización de matrices dispersas, el aprendizaje profundo, la recuperación dispersa y el aprendizaje de diccionarios.