RL인가 아니면 RL이 아닌가? 인간의 보상 기반 학습을 지원하는 과정 분석.

{강화 학습(RL) 알고리즘은 행동과 뇌 모두에서 종 간의 보상 기반 학습을 설명하는 데 엄청난 성공을 거두었습니다. 특히 델타 규칙이나 Q-learning과 같은 간단한 모델 없는 RL 모델은 밴딧 작업에서 도구적 학습을 모델링하는 데 일반적으로 사용되며, 뇌 신호의 변동성을 포착합니다. 그러나 인간의 보상 기반 학습은 기억과 같은 고수준 과정 및 선택 지속화와 같은 저수준 과정을 포함한 여러 과정을 동원합니다. 이들의 기여는 RL 계산으로 쉽게 잘못 귀속될 수 있습니다. 여기에서는 다른 과정을 배제할 수 있는 맥락에서 RL 유사 행동이 RL 계산에 의해 얼마나 지원되는지 조사합니다. 수백 명의 참여자를 포함하는 7개의 데이터 세트에 대한 재분석 및 계산 모델링 결과, 이 도구적 맥락에서 보상 기반 학습은 작업 기억과 습관과 유사한 연상 과정의 조합으로 가장 잘 설명되며, RL과 유사한 가치 기반 점진적 학습은 없습니다. 시뮬레이션은 이 조합이 가치 기반 RL 에이전트의 적응 정책에 근접함을 보여주며, 작업 기억이 분리되지 않을 때 RL 계산이 잘못 추론되는 이유를 설명합니다. 우리의 결과는 뇌와 행동 전반에 걸쳐 RL을 의미 있는 과정으로 해석하는 데 중요한 질문을 제기하며, 분석 수준에서 강화 학습 발견을 해석하는 방식을 재고할 필요성을 요청합니다.