単一ループの投影不要および投影に基づく勾配アルゴリズムによる 非凸凹鞍点問題の二階構造に関する研究

本論文では、上位の目的関数が非凸凹かつ滑らかで、強凸な下位の目的関数の制約の下にある、二階構造を持った制約付き鞍点問題のクラスを探求します。この問題のクラスは、堅牢なマルチタスク学習、敵対的学習、堅牢なメタ学習などを含む機械学習に広く応用されます。一部の研究は、上位の目的関数が最大化成分において線形である場合など、より単純な定式化に焦点を当てていますが、より一般的な設定に対して理論的保証を持つ効率的な投影不要および投影ベースのアルゴリズムを開発するには依然として大きなギャップがあります。このギャップを埋めるために、我々は効率的な単一ループの一方向投影不要および完全投影ベースのプライマル-デュアル手法を提案します。正則化およびネストした近似手法を活用することで、初めに二階プライマル-デュアル一方向投影不要アルゴリズムを考案し、O (^-4) 回の反復を要して -定常点を達成します。続いて、O (^-5) 回の反復内に -定常解を達成できる二階プライマル-デュアル完全投影アルゴリズムを開発します。私たちの知る限りでは、提案されたアルゴリズムは、二階構造を持つ一般的な非双線形鞍点問題を解決するための最初の方法の一つを表しています。