大規模言語モデルのロールアウトからのオフライン強化学習による知識豊富なエージェント

強化学習（RL）は、環境相互作用データを通じてエージェントに複雑なタスクを達成させるためにトレーニングしますが、その能力は利用可能なデータの範囲によっても制限されます。知識豊富なエージェントを得るための有望なアプローチは、大規模言語モデル（LLM）からの知識を活用することです。LLMとRLを組み合わせた以前の研究にもかかわらず、両者のシームレスな統合は、そのセマンティックギャップのために依然として困難です。本論文では、LLMから知識を抽出する新しい手法である言語モデルロールアウトからの知識豊富なエージェント（KALM）を紹介します。これは、エージェントがオフライン強化学習手法を通じて簡単に学習できる形の想像上のロールアウトとしてLLMから知識を抽出します。KALMの主な課題はLLMの基盤固めにあり、LLMは本質的にテキストデータに制限されているのに対し、環境データはしばしばLLMに見えない数値ベクトルから成り立っています。これに対処するために、KALMは環境データに基づいてさまざまなタスクを実行するようにLLMを微調整します。このプロセスには、スキルの自然言語記述とそれに対応するロールアウトデータとの間の双方向翻訳が含まれます。この基盤固めのプロセスは、LLMの環境ダイナミクスの理解を強化し、新しいスキルを反映する多様で意味のある想像上のロールアウトを生成できるようにします。CLEVR-Robot環境における初期の実証評価では、KALMがエージェントにタスク目標の複雑な言い換えを完了させ、新しい最適な行動を必要とする新しいタスクへの能力を拡張させることができることを示しています。KALMは、見えない目標を持つタスクの実行において46%の成功率を達成し、基準手法によって達成された26%を大幅に上回っています。さらに、KALMはLLMが環境ダイナミクスを理解するのを効果的に促進し、新しいスキルを反映し、LLMと強化学習のシームレスな統合を実証する意味のある想像上のロールアウトを生成する結果となります。