텍스트 분류를 위한 대규모 언어 모델: 제로샷 학습에서 인스트럭션 튜닝까지

대규모 언어 모델(LLM)의 발전은 자연어 처리 분야를 혁신하고 사회 과학적 분석을 위한 엄청난 잠재력을 가지고 있습니다. 우리는 감독된 텍스트 분류에 LLM의 적용을 탐구합니다. 사례 연구로서 우리는 스탠스 탐지를 고려하고 다양한 아키텍처, 훈련 방식 및 작업 사양에 따른 예측 정확도의 변화를 조사합니다. 우리는 8600만에서 1.7조 매개변수에 이르는 10개의 모델과 프롬프트 기반 제로샷 학습, 몇 번의 샷 학습, 파인 튜닝 및 인스트럭션 튜닝의 네 가지 뚜렷한 훈련 방식을 비교합니다. 일반적으로 가장 큰 모델이 최고의 예측 성능을 제공하지만, 작은 모델의 파인 튜닝은 상대적으로 높은 정확도와 저렴한 비용으로 경쟁 가능한 해결책입니다. 복잡한 예측 작업의 경우, 인스트럭션 튜닝된 오픈 가중치 모델이 높은 성능을 보이며 최신 상용 모델에 필적합니다. 우리는 사회학 연구에서 텍스트 분류를 위한 LLM의 사용에 대한 권장 사항을 제공하고 이러한 기술 사용과 관련된 한계와 도전에 대해 논의합니다.