滑らかでない非凸最適化のためのラグランジュベースの手法の開発

本論文では、閉凸部分集合X⊆Rⁿ上の滑らかでない非凸目的関数f(x)の最小化を考慮し、追加の滑らかでない非凸制約c(x)=0を含めます。私たちは、各反復ごとにプライマル変数に対して一段階の更新を行ういくつかの部分勾配法を用いて、ラグランジュベースの手法を開発するための統一フレームワークを開発します。これらの部分勾配法は、プライマル変数へのブラックボックス更新として組み込まれており、私たちのフレームワークに「埋め込まれています」。提案したフレームワークは、穏やかな条件の下でこれらの埋め込まれた部分勾配法からグローバル収束保証を受け継ぐことを証明します。また、期待値制約を持つ制約付き最適化問題を解決するためにフレームワークを拡張できることも示します。提案したフレームワークに基づいて、近接SGD、近接モメンタムSGD、および近接ADAMを含む、既存のさまざまな確率的部分勾配法がラグランジュベースの手法に埋め込めることを示します。深層学習タスクに関する予備的な数値実験は、提案したフレームワークが非凸滑らかでない制約付き最適化問題に対して収束保証を持つラグランジュベースの手法の効率的な変種を生み出すことを示しています。