状況依存因果影響に基づく協調型マルチエージェント強化学習

協力することを学ぶことは、マルチエージェント強化学習（MARL）において重要な進展を遂げました。しかし、エージェント間の調整を促進し、探索能力を強化することは依然として課題です。マルチエージェント環境では、エージェント間の相互作用は特定の状況に制限されます。したがって、エージェント間での効果的な協力は、エージェントの行動が他のエージェントにどのように影響を与えるかを微妙に理解することを必要とします。この目的のために、本論文では状況依存因果影響に基づく協調型マルチエージェント強化学習（SCIC）という新しいMARLアルゴリズムを提案します。このアルゴリズムは、エージェント間の状況依存因果影響によって測定される新しい協力基準に基づいた新しい内因性報酬メカニズムを組み込んでいます。我々のアプローチは、因果介入と条件付き相互情報量を使用して特定の状況におけるエージェント間の因果影響を検出することを目的としています。これにより、他のエージェントにポジティブな影響を与える状態を探索するのに役立ち、エージェント間の協力を促進します。結果として得られる更新は、協調的探索と内因性報酬分配を関連付け、全体的な協力とパフォーマンスを向上させます。さまざまなMARLベンチマークにおける実験結果は、最新のアプローチと比較して我々の方法の優位性を示しています。