Convergence et comportement dynamique de l'algorithme ADAM pour l'optimisation stochastique non convexe

Adam est une variante populaire de la descente de gradient stochastique pour trouver un minimiseur local d'une fonction. Dans le régime de pas constant, en supposant que la fonction objective est différentiable et non convexe, nous établissons la convergence à long terme des itérations vers un point stationnaire sous une condition de stabilité. L'ingrédient clé est l'introduction d'une version continue du temps d'Adam, sous la forme d'une équation différentielle ordinaire non autonome. Ce système en temps continu est une approximation pertinente des itérations d'Adam, dans le sens où le processus d'Adam interpolé converge faiblement vers la solution de l'EDO. L'existence et l'unicité de la solution sont établies. Nous montrons également la convergence de la solution vers les points critiques de la fonction objective et quantifions son taux de convergence sous une hypothèse de Łojasiewicz. Ensuite, nous introduisons une nouvelle version à pas décroissant d'Adam. Sous des hypothèses légères, il est démontré que les itérations sont presque sûrement bornées et convergent presque sûrement vers des points critiques de la fonction objective. Enfin, nous analysons les fluctuations de l'algorithme par le biais d'un théorème de limite centrale conditionnelle.