소프트 제약 적대자를 통한 강력한 오프 정책 강화 학습

최근 입력 관측에 대한 강력한 강화 학습(RL) 방법이 상당한 주목을 받고 있으며, RL의 잠재적 취약성으로 인해 빠른 발전을 이루고 있습니다. 이러한 고급 방법들은 합리적인 성공을 거두었지만, 장기적 관점에서 적대자를 고려할 때 두 가지 한계가 있습니다. 첫째, 정책과 해당 최적 적대자 간의 상호 의존성은 오프 정책 RL 알고리즘 개발을 제한합니다. 최적 적대자는 현재 정책에 의존해야 하지만, 이는 오프 정책 RL에 대한 응용을 제한했습니다. 둘째, 이러한 방법들은 환경 내의 섭동 분포에 대한 사전 지식이 있을 때에도 Lₚ-노름에 기반한 섭동만을 일반적으로 가정합니다. 우리는 적대적 RL에 대한 또 다른 관점을 제시합니다: 사전 지식 분포를 갖춘 f-발산 제약 문제입니다. 이를 통해 두 가지 전형적인 공격과 해당 강력한 학습 프레임워크를 도출합니다. 강인성의 평가가 수행되며, 결과는 우리가 제안한 방법이 샘플 효율적인 오프 정책 RL에서 뛰어난 성능을 달성함을 보여줍니다.