TelecomGPT: 통신 전문 대형 언어 모델 구축을 위한 프레임워크

대형 언어 모델(LLMs)은 6세대(6G) 통신 네트워크를 혁신할 잠재력을 가지고 있습니다. 그러나 현재 주류 LLM은 일반적으로 통신 분야의 전문 지식이 부족합니다. 본 논문에서는 일반 목적의 LLM을 통신 전문 LLM으로 적응시키기 위한 파이프라인을 처음으로 제안합니다. 우리는 지속적인 사전 학습, 지침 조정 및 정렬 조정을 수행하기 위해 통신 전문 사전 학습 데이터셋, 지침 데이터셋, 선호 데이터셋을 수집하고 구축합니다. 또한, 통신 분야에서 널리 인정된 평가 기준이 부족하므로 기존 평가 기준을 확장하고, 'Telecom Math Modeling', 'Telecom Open QnA', 'Telecom Code Tasks'라는 세 가지 새로운 기준을 제안합니다. 이 새로운 기준은 수학 모델링, 개방형 질문 응답, 코드 생성, 텍스트 보완, 요약 및 통신 분야 분석을 포함하여 LLM의 능력을 총체적으로 평가합니다. 우리의 미세 조정된 LLM TelecomGPT는 Telecom Math Modeling 기준에서 GPT-4, Llama-3 및 Mistral을 포함한 최첨단(SOTA) LLM을 뛰어넘는 성능을 보였으며, TeleQnA, 3GPP 기술 문서 분류, 통신 코드 요약 및 생성 및 텍스트 보완과 같은 다양한 평가 기준에서도 비슷한 성능을 달성했습니다.