SELF-GUIDE: 자기합성 미세조정을 통한 더 나은 과제별 지침 준수

대형 언어 모델(LLM)은 적절한 자연어 프롬프트가 제공될 때 다양한 과제를 해결할 가능성을 가지고 있습니다. 그러나 프롬프트 방식은 충분한 훈련 데이터를 가진 모델의 미세조정에 비해 예측 정확도가 낮게 나타나는 경우가 많습니다. 반면, LLM을 과제별 데이터로 미세조정하면 일반적으로 성능이 개선되지만, 모든 과제에 대해 풍부한 주석 데이터셋이 존재하지 않습니다. 이전 연구들은 최첨단 LLM으로부터 과제별 데이터를 생성하고 이를 사용해 더 작은 모델을 미세조정하는 방식을 탐구했으나, 이 방법은 훈련 대상 모델과 다른 언어 모델에 접근해야 하므로 비용, 확장성 문제, 더 강력한 LLM에 지속적으로 의존하는 법적 이슈가 발생합니다. 이에 대응하여, 우리는 학생 LLM에서 과제별 입력-출력 쌍을 합성하고 이를 사용해 학생 LLM 자신을 미세조정하는 다단계 메커니즘인 SELF-GUIDE를 제안합니다. Natural Instructions V2 벤치마크에서의 실험적 평가 결과, SELF-GUIDE는 LLM 성능을 상당히 개선함을 확인했습니다. 구체적으로, 벤치마크 지표에서 분류 과제는 약 15%, 생성 과제는 약 18%의 절대적 성능 향상을 보고합니다. 이는 외부 학습 신호 없이도 자체 합성된 데이터가 LLM을 과제별 전문가로 안내할 수 있음을 시사합니다.