Contrôleurs de taille de pas d'apprentissage pour un entraînement robuste des réseaux de neurones

Cet article étudie des algorithmes pour adapter automatiquement le taux d'apprentissage des réseaux de neurones (NN). En partant de la descente de gradient stochastique, une grande variété de méthodes d'apprentissage a été proposée pour le cadre des NN. Cependant, ces méthodes sont généralement sensibles au taux d'apprentissage initial qui doit être choisi par l'expérimentateur. Nous examinons plusieurs caractéristiques et montrons comment un contrôleur adaptatif peut ajuster le taux d'apprentissage sans connaissance préalable du problème d'apprentissage en cours.