Sur les méthodes itératives étendues stochastiques adaptatives pour résoudre les moindres carrés

Dans cet article, nous proposons une nouvelle méthode itérative étendue stochastique adaptive, qui peut être considérée comme une extension améliorée de la méthode de Kaczmarz étendue aléatoire, pour trouver la solution unique des moindres carrés à norme euclidienne minimale d'un système linéaire donné. En particulier, nous introduisons trois reformulations stochastiques équivalentes du problème des moindres carrés linéaires : des problèmes d'optimisation stochastiques non contraints et contraints, et le problème d'optimisation multi-objectifs stochastique. Nous utilisons alors alternativement les variantes adaptatives de la méthode de momentum à boule lourde stochastique (SHBM), qui utilisent l'information itérative pour mettre à jour les paramètres, afin de résoudre les reformulations stochastiques. Nous prouvons que notre méthode converge R-linéairement en espérance, abordant un problème ouvert dans la littérature lié à la conception de méthodes SHBM adaptatives théoriquement soutenues. Des expériences numériques montrent que notre méthode itérative étendue stochastique adaptive présente de forts avantages par rapport à la méthode non adaptive.