VDSC: 가치 불일치 및 상태 수를 통한 탐색 타이밍 향상

깊은 강화 학습에서 얼마나, 어떻게 탐색할 것인가에 대한 질문에 상당한 주의가 기울여졌음에도 불구하고, 언제 탐색할 것인가에 대한 연구는 상대적으로 덜 이루어졌다. 보다 정교한 탐색 전략이 특정하고 종종 희소한 보상 환경에서 뛰어난 성과를 낼 수 있는 반면, 기존의 더 간단한 접근법인 -탐욕적 방법은 더 넓은 범위의 도메인에서 여전히 그들을 능가한다. 이러한 간단한 전략의 매력은 구현의 용이성과 다양한 도메인에서의 일반성에 있다. 단점은 이러한 방법들이 본질적으로 에이전트의 내부 상태를 완전히 무시하는 맹목적인 전환 메커니즘이라는 것이다. 본 논문에서는 에이전트의 내부 상태를 이용하여 언제 탐색할지를 결정하는 방법을 제안하며, 맹목적인 전환 메커니즘의 단점을 해결한다. 우리는 효율적인 탐색 타이밍을 위한 신규 접근법인 호메오스타시스를 통한 가치 불일치 및 상태 수(VDSC)를 제시한다. Atari 스위트에서의 실험 결과는 우리의 전략이 -탐욕적 방법 및 볼츠만과 같은 전통적인 방법뿐만 아니라 노이즈 넷과 같은 더 정교한 기술에 비해 우수함을 보여준다.