Sobre la compensación entre planitud y optimización en el aprendizaje distribuido

Este artículo propone un marco teórico para evaluar y comparar el rendimiento de los algoritmos de descenso de gradiente para el aprendizaje distribuido en relación con su comportamiento en torno a mínimos locales en entornos no convexos. Trabajos anteriores han observado que la convergencia hacia mínimos locales planos tiende a mejorar la capacidad de generalización de los algoritmos de aprendizaje. Este trabajo descubre dos resultados interesantes. Primero, muestra que las estrategias de aprendizaje descentralizadas son capaces de escapar más rápido de los minimizadores locales y favorecen la convergencia hacia mínimos más planos en relación con la solución centralizada en el régimen de entrenamiento por lotes grandes. Segundo, y es importante, la precisión final de clasificación no depende únicamente de la planitud del minimizador local, sino también de cuán bien un algoritmo de aprendizaje puede acercarse a ese mínimo. En otras palabras, la precisión de clasificación es una función de la planitud y el rendimiento de optimización. El artículo examina de cerca la interacción entre las dos medidas de planitud y error de optimización. Una conclusión importante es que las estrategias descentralizadas del tipo difusión ofrecen una mayor precisión de clasificación porque logran un equilibrio más favorable entre la planitud y el rendimiento de optimización.