AI가 당신을 속일 때: 보상 학습에서 인간 평가자의 부분 관찰 가능성의 도전 과제

인간 피드백을 통한 강화 학습(RLHF)에 대한 과거 분석은 인간이 환경을 완전히 관찰한다고 가정한다. 인간 피드백이 부분 관찰에만 기반할 때 어떤 일이 발생할까? 우리는 두 가지 실패 사례를 공식적으로 정의한다: 속임수와 과잉정당화. 궤적에 대한 신념과 관련하여 인간을 볼츠만-합리적으로 모델링 하여, RLHF가 성능을 속입니다. 자신을 inflate하고 인상을 주기 위해 행동을 과잉정당화하는 정책을 보장하는 조건을 증명한다. 이러한 문제를 해결하기 위해, 우리는 환경의 부분 관찰 가능성이 학습된 수익 함수의 (부재) 모호성으로 어떻게 전환되는지를 수학적으로 특징짓는다. 경우에 따라 부분 관찰 가능성을 고려하면 수익 함수와 최적 정책을 회복하는 것이 이론적으로 가능하나, 다른 경우에는 줄일 수 없는 모호성이 존재한다. 우리는 부분적으로 관찰 가능한 설정에서 RLHF를 맹목적으로 적용하지 않도록 경고하며, 이러한 도전 과제를 다루기 위한 연구 방향을 제안한다.