中央集権的訓練と分散実行に基づく共同マルチエージェント深層強化学習によるワイヤレス電力配分

マルチセル無線ネットワークにおけるラジオリソース管理での深層強化学習（DRL）の成功にもかかわらず、超密度の5Gおよびそれ以降のネットワークにおける電力配分への適用は課題を伴います。既存のマルチエージェントDRLベースの手法は通常、完全に中央集権的なアプローチを採用しますが、通信オーバーヘッドコストを見落としがちです。本論文では、マルチセルネットワークを共同マルチエージェントDRLシステムとしてモデル化し、正確でリアルタイムな意思決定のために中央集権的な訓練と分散実行のアプローチを実装し、実行中の通信オーバーヘッドを排除します。私たちは、マルチキャリアシステムにおける潜在的に非現実的な電力配分ポリシーに対処し、送信電力制約を厳密に遵守するために、DRLエージェントの入力観測、行動、報酬を慎重に設計しています。広範なシミュレーションを通じて、提案したDRLベースの電力配分がさまざまな探索方法やシステムパラメータに対してどの程度敏感であるかを評価します。結果は、複雑なネットワーク環境において連続行動空間を持つDRLベースの電力配分が優れた性能を示すことを示しています。一方、サブキャリアとユーザーが少ない単純なネットワーク設定では、より少ない電力配分アクションが必要であり、迅速な収束が保証されます。高速な探索率を活用することにより、離散行動空間を持つDRLベースの電力配分は従来のアルゴリズムを凌駕し、60,000トレーニングエピソード内で36%の相対合計レートの増加を達成します。