GECKO: 영어, 코드 및 한국어를 위한 생성적 언어 모델

우리는 한국어와 영어, 그리고 프로그래밍 언어에 최적화된 이중 언어 대형 언어 모델(LLM)인 GECKO를 소개합니다. GECKO는 LLaMA 아키텍처를 사용하여 한국어와 영어의 균형 잡힌 고품질 말뭉치에서 사전 훈련되었습니다. 이 보고서에서는 말뭉치를 위한 더 나은 데이터 파이프라인 구축과 모델 훈련을 위한 여러 노력의 경험을 공유합니다. GECKO는 작은 어휘 크기에도 불구하고 한국어와 영어 모두에 대해 토큰 생성에서 뛰어난 효율성을 보여줍니다. 우리는 한국어, 영어 및 코드와 관련된 대표 벤치마크에서 성능을 측정했으며, KMMLU(한국어 MMLU)에서 뛰어난 성능을 보이고, 영어 및 코드에서 적당한 성능을 나타내며, 영어에 집중된 LLM과 비교하여 훈련된 토큰 수가 더 적음에도 불구하고 우수한 결과를 보입니다. GECKO는 허가된 라이센스 하에 오픈 소스 커뮤니티에 제공됩니다. 우리의 작업이 한국어 LLM 연구를 위한 연구 기준선 및 실용적 통찰력을 제공하길 바랍니다. 모델은 다음에서 확인할 수 있습니다: https://huggingface.co/kifai/GECKO-7B