다중 에이전트 강화 학습을 위한 확률적 재귀 추론

인간은 믿음이나 의도와 같은 잠재적인 정신 내용을 타인에게 귀속시킬 수 있습니다. 이러한 사회적 기술은 타인의 행동이 초래할 수 있는 잠재적인 결과에 대해 추론하고 미리 계획하는 데 있어 일상생활에서 매우 중요합니다. 인간은 자신의 믿음에 대한 타인의 믿음을 고려하여 이러한 추론 능력을 재귀적으로 사용하는 것으로 알려져 있습니다. 본 논문에서는 레벨-1 재귀에서 시작하여 다중 에이전트 강화 학습을 위한 확률적 재귀 추론(PR2) 프레임워크를 소개합니다. 우리의 가설은 각 에이전트가 자신의 미래 행동에 대한 상대의 반응을 고려하는 것이 유익하다는 것입니다. PR2 프레임워크 하에서 우리는 상대의 조건부 정책을 근사화하기 위해 변분 베이즈 방법을 채택하며, 각 에이전트는 최적의 반응을 찾아 자신의 정책을 개선합니다. 우리는 하나의 내쉬 균형이 존재할 때 자가 플레이 시나리오에서 수렴하는 것으로 입증된 분산 훈련-분산 실행 알고리즘인 PR2-Q 및 PR2-액터-비평가를 개발했습니다. 우리의 방법은 커먼 그래디언트 기반 방법이 수렴에 실패하는 비대칭 균형이 있는 행렬 게임과 미분 게임에서 검증되었습니다. 실험 결과, 에이전트가 믿는 것을 상대가 어떻게 믿는지에 대해 추론하는 것이 중요하다는 것을 보여주었습니다. 우리의 연구가 다중 에이전트 강화 학습 커뮤니티에 상대를 모델링하는 새로운 아이디어를 기여하기를 기대합니다.