想像、初期化、探求：マルチエージェント強化学習における効果的な探求方法

効果的な探求は、複雑な協調タスクにおけるマルチエージェント強化学習（MARL）に最適な戦略を発見するために重要です。既存の方法は、主に内因性報酬を利用して積極的な探求を促進したり、共同行動空間を分解するために役割ベースの学習を使用したりして、すべての行動観察空間での集合的な探索を直接行う代わりに行動しています。しかし、これらの方法は、長期にわたるタスクで成功した状態に到達するための具体的な共同行動シーケンスを取得する際にしばしば課題に直面します。この制限に対処するために、我々は想像、初期化、探求（IIE）を提案します。これは、複雑なシナリオにおける効率的なマルチエージェント探求の有望な解決策を提供する新しい方法です。IIEは、エージェントが互いの遷移関数に影響を与えることができる重要な状態に到達する方法を想像するためにトランスフォーマーモデルを使用します。次に、探求フェーズの前にシミュレーターを使用してこの状態で環境を初期化します。我々は、状態、観察、プロンプト、行動、報酬が自己回帰的に予測されるシーケンスモデリング問題として想像を定式化します。プロンプトは、タイムステップ、リターン、影響値、およびワンショットデモンストレーションで構成されており、望ましい状態と軌道を特定し、行動生成をガイドします。エージェントを重要な状態で初期化することにより、IIEは潜在的に重要な未探索領域を発見する可能性を大幅に高めます。そのシンプルさにもかかわらず、実証結果は、我々の方法がStarCraftマルチエージェントチャレンジ（SMAC）とSMACv2環境でのマルチエージェント探求のベースラインを上回ることを示しています。特に、IIEはスパース報酬SMACタスクでのパフォーマンスの向上を示し、他の生成的手法であるCVAE-GANや拡散モデルよりも初期化された状態をより効果的にカリキュラム化します。