Componentes Fundamentales del Aprendizaje Profundo: Un enfoque teórico de categorías

El aprendizaje profundo, a pesar de sus notables logros, sigue siendo un campo joven. Al igual que las primeras etapas de muchas disciplinas científicas, está marcado por el descubrimiento de nuevos fenómenos, decisiones de diseño ad-hoc, y la falta de una base matemática uniforme y composicional. Desde las complejidades de la implementación de retropropagación, pasando por un creciente zoológico de arquitecturas de redes neuronales, hasta los nuevos y poco comprendidos fenómenos como el doble descenso, las leyes de escalado o el aprendizaje en contexto, hay pocos principios unificadores en el aprendizaje profundo. Esta tesis desarrolla una novel base matemática para el aprendizaje profundo basada en el lenguaje de la teoría de categorías. Desarrollamos un nuevo marco que es a) de extremo a extremo, b) uniforme, y c) no meramente descriptivo, sino prescriptivo, lo que significa que es susceptible de implementación directa en lenguajes de programación con suficientes características. También sistematizamos muchos enfoques existentes, colocando muchas construcciones y conceptos de la literatura bajo el mismo paraguas. En la Parte I identificamos y modelamos dos propiedades principales de los sistemas de aprendizaje profundo: la parametricidad y la bidireccionalidad. Expandimos la construcción previamente definida de actegorías y Para para estudiar la primera, y definimos ópticas ponderadas para estudiar la segunda. Combinarlas produce ópticas ponderadas paramétricas, un modelo categórico de redes neuronales artificiales, y más. La Parte II justifica las abstracciones de la Parte I, aplicándolas para modelar la retropropagación, arquitecturas y aprendizaje supervisado. Proporcionamos una axiomática teórica de lentes de la diferenciación, cubriendo no solo espacios suaves, sino configuraciones discretas de circuitos booleanos también. Revisamos modelos categóricos existentes y desarrollamos nuevos modelos categóricos de arquitecturas de redes neuronales. Formalizamos la noción de optimizadores y, por último, combinamos todos los conceptos existentes, proporcionando un marco uniforme y composicional para el aprendizaje supervisado.