インタラクションとコミュニケーション効率を考慮したモーメンタムベースの連合強化学習

連合強化学習（FRL）は、最近ますます注目を集めています。しかし、データ分布の内因的な空間-時間的な非定常性のため、現在のアプローチは通常、高い相互作用および通信コストに悩まされています。本論文では、モーメンタム、重要度サンプリング、追加のサーバーサイド調整を利用して、確率的ポリシー勾配のシフトを制御し、データ利用の効率を向上させる新しいFRLアルゴリズム、MFPOを紹介します。モーメンタムパラメータと相互作用頻度を適切に選択することで、MFPOはO(H N^{-1^{-3/2}})およびO(N^{-1})の相互作用および通信の複雑性を達成できることを証明します（Nはエージェントの数を表します）。相互作用の複雑性はエージェントの数に応じて線形スピードアップを達成し、通信の複雑性は既存の一次FLアルゴリズムで達成可能な最良のものに一致します。広範な実験により、MFPOが複雑かつ高次元のベンチマークの一連において既存の方法に対して著しい性能向上を示すことが確認されました。