焦点を当ててから決定する：セグメンテーション支援型強化学習

視覚的強化学習（RL）は、人間のような知能を達成するための有望なアプローチです。しかし、現在はノイズの多い環境で効率的に学習することが課題となっています。それに対して、人間は以前に取得した一般的知識を適用することで、混乱に満ちた周囲の中でタスク関連のオブジェクトを迅速に特定できます。最近、自然言語処理やコンピュータビジョンにおける基礎モデルは素晴らしい成功を収めており、これらのモデル内の一般的知識は下流タスクのトレーニングに大きな利益をもたらすことができます。これらの成果に触発されて、私たちは視覚的RLに基礎モデルからの一般的知識を組み込むことを目指しています。私たちは、エージェントがタスク関連のオブジェクトのみに基づいて意思決定を行える新しい「焦点を当ててから決定する」（FTD）フレームワークを提案します。これを実現するために、基礎的セグメンテーションモデルによって返されたオブジェクトセットからタスク関連オブジェクトを選択するための注意メカニズムを導入し、決定モジュールのその後のトレーニングにはタスク関連オブジェクトのみを使用します。さらに、この注意メカニズムの迅速な学習を促進するために、2つの一般的な自己監視目的を特に採用しました。DeepMind Control SuiteとFranka Emika Roboticsに基づく難しいタスクに関する実験結果は、私たちの手法がノイズの多い環境で興味のあるオブジェクトを迅速かつ正確に特定できることを示しています。その結果、現在の最先端アルゴリズムに対して重要な性能改善を達成します。プロジェクトページ：https://www.lamda.nju.edu.cn/chenc/FTD.html コード：https://github.com/LAMDA-RL/FTD