Caractérisation qualitative des problèmes d'optimisation des réseaux de neurones

L'entraînement des réseaux de neurones implique la résolution de problèmes d'optimisation non convexe à grande échelle. On a longtemps cru que cette tâche était extrêmement difficile, la peur des minima locaux et d'autres obstacles motivant une variété de schémas pour améliorer l'optimisation, comme le pré-entraînement non supervisé. Cependant, les réseaux de neurones modernes sont capables d'atteindre une erreur d'entraînement négligeable sur des tâches complexes, en utilisant uniquement un entraînement direct avec la descente de gradient stochastique. Nous introduisons une technique d'analyse simple pour chercher des preuves que de tels réseaux surmontent des optima locaux. Nous constatons qu'en fait, sur un chemin direct de l'initialisation à la solution, une variété de réseaux de neurones à la pointe de la technologie ne rencontrent jamais d'obstacles significatifs.