堅牢なポリシーに向けて：敵対的攻撃と防御によるオフライン強化学習の強化

オフライン強化学習（RL）は、RLに内在する高価でリスクの高いデータ探索の課題に対処するため、大量のオフラインデータで事前にポリシーを学習し、現実環境での直接展開や微調整を可能にします。しかし、この学習パラダイムはポリシーの堅牢性を損ない、観察の摂動や意図的な攻撃により実際の条件下で性能が劣化することがあります。敵対的攻撃と防御は深層学習で広く研究されていますが、オフラインRLへの応用は限られています。本論文は、高度な敵対的攻撃と防御を活用してオフラインRLモデルの堅牢性を向上させるフレームワークを提案します。このフレームワークは、学習中に観察を摂動してアクターとクリティックの両方を攻撃し、敵対的防御を正則化として用いて学習したポリシーを強化します。4つの攻撃と2つの防御を導入し、D4RLベンチマーク上で評価しました。結果は、アクターとクリティックが攻撃に脆弱であること、そして防御がポリシーの堅牢性向上に効果的であることを示しました。このフレームワークは、実際のシナリオにおけるオフラインRLモデルの信頼性向上に期待が持てます。