SelectIT: 불확실성 인지 자기성찰을 통한 대형 언어 모델의 선택적 지시 조정

지시 조정(IT)은 대형 언어 모델(LLM)을 인간 중심 상호작용에 맞추는 데 매우 중요합니다. 최근 연구들은 소량의 고품질 IT 데이터 하위 집합을 신중하게 선택하는 것이 LLM의 성능을 크게 향상시킬 수 있음을 보여주었습니다. 그럼에도 불구하고, 일반적인 접근법은 추가 모델이나 데이터 세트에 의존하는 경우가 많아 비용이 증가하고 광범위한 활용에 제약이 있습니다. 본 연구에서는 LLM 자체의 기본 역량을 활용하는 SelectIT이라는 새로운 방법을 제안합니다. 구체적으로, 우리는 추가 자원 없이도 LLM 내재 불확실성을 활용하여 고품질 IT 데이터를 보다 효과적으로 선택합니다. 또한 SelectIT을 Alpaca-GPT4 데이터셋에 적용하여 생성한 새로운 IT 데이터셋인 Selective Alpaca를 소개합니다. 실험 결과, Selective Alpaca를 사용한 IT가 모델 능력을 상당히 향상시키는 것으로 나타났습니다. SelectIT의 견고성은 다양한 기본 모델과 도메인별 과제에서도 확인되었습니다. 우리의 연구 결과는 더 길고 계산 집약적인 IT 데이터가 우수한 IT 소스로 작용할 수 있음을 시사하며, 향후 연구에 유용한 통찰을 제공합니다. 데이터, 코드 및 스크립트는 https://github.com/Blue-Raincoat/SelectIT 에서 자유롭게 이용할 수 있습니다.