Une théorie unifiée des méthodes stochastiques de point proximal sans régularité

Cet article présente une analyse complète d'une large gamme de variations de la méthode stochastique de point proximal (SPPM). Les méthodes de point proximal ont suscité un intérêt considérable en raison de leur stabilité numérique et de leur robustesse face à un réglage imparfait, une caractéristique non partagée par l'algorithme dominant de descente de gradient stochastique (SGD). Un cadre d'hypothèses que nous introduisons englobe des méthodes utilisant des techniques telles que la réduction de variance et l'échantillonnage arbitraire. Une pierre angulaire de notre approche théorique générale est une hypothèse paramétrique sur les itérations, les vecteurs de correction et de contrôle. Nous établissons un seul théorème qui assure une convergence linéaire sous cette hypothèse et la convexité forte de la fonction de perte, sans avoir besoin d'invoquer la régularité. Ce théorème intégral rétablit les meilleures garanties de complexité et de convergence connues pour plusieurs méthodes existantes, ce qui démontre la robustesse de notre approche. Nous élargissons notre étude en développant trois nouvelles variantes de SPPM, et à travers des expériences numériques, nous éclaircissons diverses propriétés qui leur sont inhérentes.