緩和仮定におけるAdaGradの収束の再検討

本研究では、非凸滑らかな最適化問題に対するモーメンタムを伴うAdaGradの収束を再検討します（特別なケースとしてのAdaGradを含む）。我々は、ノイズの大きさが関数値のギャップと勾配の大きさによって制御される一般的なノイズモデルを考慮します。このモデルは、有界ノイズ、部分ガウスノイズ、アフィン分散ノイズ、および期待される滑らかさを含む広範囲のノイズを含み、多くの実用的な応用においてより現実的であることが示されています。我々の分析は、一般的なノイズの下で確率的な収束速度をもたらし、(O (1/T)) に達する可能性があります。この速度は問題パラメータの事前知識に依存せず、関数値のギャップとノイズレベルに関連するノイズパラメータが十分に小さい場合に、(O (1/T))に加速する可能性があります。したがって、収束速度はArjevani et al. , 2023によって非凸滑らかな景観に対する確率的一階法の下限速度と一致します。また、勾配ノルムの一階関数によって局所的滑らかさが制御される一般化された滑らかさを考慮して、モーメンタムを伴うAdaGradの収束境界も導出します。