탐험, 새로움, 놀라움 및 자유 에너지 최소화

본 논문은 (능동적) 베이esian 추론을 기반으로 고전 경제적 (공리주의적) 의사결정에 대한 규범적 관점을 도입하는 자유 에너지 원칙에 따른 최근 발전들을 검토합니다. 자유 에너지 원칙은 생물학적 시스템, 즉 우리 자신이 항상성 유지를 위해 놀라움의 장기 평균을 최소화하려 한다고 가정하기 때문에 새로움과 복잡성을 배제한다고 제안되었습니다. 그러나 최근의 공식들은 놀라움을 최소화하는 것이 탐험 및 새로움 보너스와 같은 개념으로 자연스럽게 이어진다고 보여줍니다. 이 접근법에서 에이전트는 예상되는 유용성이 가장 높은 목표 상태(종종 "착취"라고 불림)와 여러 다양한 목표 상태를 방문하는("탐험") 것을 포함하여 놀라움을 최소화하는 정책을 추론합니다. 새로운 상태를 방문할 기회는 현재 상태의 가치를 증가시킵니다. 따라서 변분 프레임워크 내에서 의사결정 문제를 설정하면 우리의 행동은 미래 상태의 엔트로피와 예상 유용성 모두에 의해 지배된다는 예측을 내립니다. 이것은 놀라움 최소화와 탐험 또는 새로움 추구 사이의 변증법을 해소합니다.