適応ステップサイズと分散削減を用いた凸合成最適化のための近接確率勾配法

本論文では、近接確率勾配アルゴリズム（PSGA）を提案し、分散削減技術と適応ステップサイズ戦略を組み込むことで合成最適化問題を解決します。PSGA法において、目的関数は2つの要素から構成されます：一つは滑らかな凸関数であり、もう一つは非滑らかな凸関数です。滑らかな凸関数がリプシッツ連続である限り、提案手法の強収束を確立します。また、推定された勾配と実際の勾配との間の誤差の期待値がゼロに収束することを証明します。さらに、我々の手法に対してO(1/k)の収束率を得ます。最後に、提案手法がLogistic回帰とLasso回帰における数値実験を通して有効性を検証されました。