最悪ケース攻撃を超えて：非支配ポリシーによる適応的防御を備えたロバスト強化学習

多様な実世界アプリケーションで強化学習（RL）の成功が急増する中、テスト時の敵対的攻撃に対してRLポリシーのロバスト性を確保することに多大な関心が寄せられている。現行のアプローチは主に潜在的な最悪ケースシナリオに備えてミニマックス問題を解くことに集中している。強力な攻撃に対しては効果的だが、攻撃がない場合や弱い攻撃のみの場合にはパフォーマンスが低下しがちである。これに対処するため、本研究では最悪ケース攻撃に限定せず、広く受け入れられている状態敵対攻撃モデルのもとでのポリシーのロバスト性を検討する。まずテスト時のこの課題を後悔最小化問題として定式化し、一般的な連続的ポリシークラスから基準ポリシーが選ばれるときに部分線形後悔の達成が本質的に困難であることを示した。この発見を踏まえ、テスト前に基準ポリシークラスを洗練し、有限のポリシークラス内で効率的に適応可能とし、敵対的バンディットのサブルーチンに依存できるようにした。小規模で有限なポリシークラスの重要性を考慮し、非支配ポリシーを逐次的に発見し、準最適かつ最小のクラスを形成する新しいトレーニング時アルゴリズムを提案し、ロバスト性とテスト時の効率性の両立を図った。Mujoco上での実証では、自然なパフォーマンス、ロバストパフォーマンス、および様々な攻撃シナリオへの適応性において本アプローチの優越性が裏付けられた。