강화 학습을 통한 경쟁 게임 레벨의 시뮬레이션 기반 균형 조정

경쟁적인 2인 플레이 환경에서 게임 레벨의 균형 조정 과정은 비대칭 게임 레벨의 경우 특히 많은 수작업과 테스트를 요구합니다. 본 연구에서는 게임 균형 조정을 절차적 콘텐츠 생성 과제로 정의하고, PCGRL 프레임워크(강화 학습을 통한 절차적 콘텐츠 생성) 내에서 타일 기반 레벨의 자동 균형 조정을 위한 아키텍처를 제안합니다. 우리의 아키텍처는 (1) 레벨 생성기, (2) 균형 조정 에이전트, (3) 보상 모델링 시뮬레이션의 세 부분으로 나뉩니다. 반복적인 시뮬레이션을 통해 균형 조정 에이전트는 모든 플레이어의 승률을 동등하게 만드는 등의 주어진 균형 목표에 따라 레벨을 조정하는 것에 대한 보상을 받습니다. 이를 위해 우리는 게임 플레이 가능성을 개선하기 위한 새로운 스왑 기반 표현을 제안하여 에이전트가 기존 PCGRL보다 더 효과적이고 신속하게 게임 레벨의 균형을 맞출 수 있도록 합니다. 에이전트의 스와핑 행동을 분석함으로써 우리는 어떤 타일 유형이 균형에 가장 큰 영향을 미치는지 추론할 수 있습니다. 우리는 경쟁적인 2인 시나리오에서 Neural MMO(NMMO) 환경에서 우리의 접근 방식을 검증합니다. 이 확장된 학회 논문에서 우리는 향상된 결과를 제시하고, 균등 균형을 넘어 다양한 균형 형태에 대한 방법의 적용 가능성을 탐색하며, 다른 탐색 기반 접근 방식과의 성능을 비교하고, 기존의 공정성 지표를 게임 균형 조정에 적용하는 방법에 대해 논의합니다.