Revisión de técnicas de optimización de segundo orden en la retropropagación de redes neuronales

La técnica de optimización de segundo orden es un avance de la optimización de primer orden en redes neuronales. Proporciona información adicional de curvatura de una función objetivo que estima adaptativamente la longitud del paso en la trayectoria de optimización durante la fase de entrenamiento de la red neuronal. Con la información adicional, reduce las iteraciones de entrenamiento y logra una convergencia rápida con menos ajuste de hiperparámetros. La actual mejora en la asignación de memoria y potencia de cálculo motiva aún más a los practicantes de aprendizaje automático a revisar los beneficios de las técnicas de optimización de segundo orden. Este documento cubre la revisión sobre técnicas de optimización de segundo orden que involucran el cálculo de Hessiano para el entrenamiento de redes neuronales. Revisa la teoría básica del método de Newton, quasi-Newton, Gauss-Newton, Levenberg-Marquardt, descenso más grande aproximado y optimización sin Hessiano. Este documento resume la viabilidad y el rendimiento de las técnicas de optimización en el entrenamiento de redes neuronales profundas. Se destacan comentarios y sugerencias para las técnicas de optimización de segundo orden en el entrenamiento de redes neuronales artificiales en términos de ventajas y limitaciones.