機械学習への応用を伴う非制約確率最適化のための共役勾配法とモーメンタムの組み合わせ

確率勾配の影響により、既存のアルゴリズムは収束が遅く、ノイズが増大し、実際には収束に失敗することがあります。これが、これらの問題に取り組むための加速アルゴリズムの提案を促しています。勾配、モーメンタム、共役勾配の検索方向としての可能性を認識し、これら三つの基底の加重組み合わせを使用する3-D加速アルゴリズムを提案します。具体的には、更新プロセス中の離散時間アルゴリズムの動的挙動を分析するために、連続時間確率微分方程式によって弱い意味で離散時間アルゴリズムを近似するための一般的なフレームワークを提供します。連続時間の定式化とリャプノフのドリフト最適化を利用して、アルゴリズムのノイズの安定化と収束の加速を効果的に改善する新しい適応ステップサイズを導出します。広範な数値実験は、提案されたアルゴリズムの収束速度、計算複雑性、ノイズに対する堅牢性が最先端のベースラインと比較して優れていることを示しています。