滑らかな補間領域におけるSGDの最終反復の高速収束

我々は、最適解におけるノイズがゼロまたはほぼゼロである補間領域における滑らかな凸目的関数に対する確率的勾配降下法（SGD）の集団収束保証を研究する。この設定におけるSGDの最終反復の挙動、特に大きな（一定の）ステップサイズを用いる場合は、過剰パラメータ化モデルの訓練や、継続学習における忘却分析、さらに線形システムを解くためのランダム化Kaczmarz法の収束理解に関連して、近年注目を集めている。我々は、ステップサイズが0 < η < 2/βのβ滑らかな凸損失関数に対してTステップのSGDを適用した後、最終反復が期待される過剰リスクO (1η (2-βη) T^{1-βη/2} + η (2-βη) ² T^βη/2 σ_²)を示すことを確立した。ここで、σ_²は最適解における確率的勾配の分散を示す。特に、適切に調整されたステップサイズでは、最終反復に対して近似最適O (1/T + σ_/T)のレートを得ることができ、Varre et al. (2021)の結果を最小二乗回帰を超えて拡張した。さらに、σ_=0の場合は、η=1/βに対してO (1/T)のレートを得ることができ、Evron et al. (2025)によって最近確立された最良の事例におけるO (T^{-1/4})のレートを改善した。