프리트레인된 언어 모델의 계획 능력을 향상시키기 위한 검증자 학습 및 활용

사전 학습된 대규모 언어 모델의 emergent reasoning 능력에 대한 주장들이 문헌에서 광범위하게 제기되었습니다. 그러나 최근 연구에 따르면, 그들의 계획 능력은 여전히 의문이 제기됩니다. 우리는 GPT-2를 사용한 실험을 통해, 파인튜닝된 기준선의 성능이 여전히 낮은 이유를 행동이 생성하는 계획의 전제 조건을 위반하기 때문임을 실증적으로 보여줍니다. 파인튜닝된 LLM의 계획 능력을 향상시키기 위해, 특정 상태에서 행동을 유효 또는 무효로 분류할 수 있는 검증자를 훈련시킵니다. 동일한 데이터 세트에서 무작위로 행동을 샘플링하여, 유효하지 않은 행동의 사례를 생성하며, 이를 검증자가 행동의 적용 가능성을 확인하는 데 사용합니다. 생성기에서의 다양한 샘플링과 무효 궤적을 잘라낼 수 있는 검증기가 존재하는 상황에서, 우리는 Blocksworld 도메인에서 성공률의 유의미한 향상을 보여줍니다. 또한, 검증자를 생성하기 위해 GPT-2 생성기 자체를 파인튜닝하는 것이 기본 GPT-2를 파인튜닝하는 것보다 더 잘 일반화됨을 보여줍니다. 마지막으로, 탐색-착취 균형을 제어하는 데 사용될 수 있는 샘플링 온도의 역할을 조사합니다.