우리는 Llama-GENBA-10B를 소개합니다. 이는 대형 언어 모델에서 영어 중심 편향을 해결하는 삼국어 기초 모델입니다. Llama 3.1-8B에 기반하여 10B 매개변수로 확장된 Llama-GENBA-10B는 164B 토큰(82B 영어, 82B 독일어 및 80M 바바리아어)에서 지속적으로 사전 훈련되며, 자원 균형을 맞추면서 영어의 지배를 방지합니다. 독일어 NLP 커뮤니티를 목표로 하여 모델은 자원이 부족한 언어로서 바바리아어를 촉진합니다. 개발 과정에서는 다음의 네 가지 도전에 맞섰습니다: (1) 바바리아어 부족에도 불구하고 다국어 말뭉치 큐레이션, (2) 영어, 독일어 및 바바리아어를 위한 통합 토크나이저 생성, (3) 교차 언어 전이를 위한 아키텍처 및 언어 비율 하이퍼파라미터 최적화, (4) 독일어 벤치마크를 바바리아어로 번역하여 최초의 표준화된 삼국어 평가 스위트 구축. 평가 결과, Llama-GENBA-10B는 강력한 교차 언어 성능을 달성하며, 미세 조정된 변형이 바바리아어에서 Apertus-8B-2509 및 gemma-2-9b를 초과하고 이 언어에 대한 최상의 모델로 자리잡으며, 영어에서는 EuroLLM을 초과하고 독일어에서는 동등한 결과를 나타냅니다. Cerebras CS-2에서의 훈련은 효과적인 대규모 다국어 사전 훈련을 보여주었으며, 문서화된 에너지 사용을 통해 자원이 부족한 언어를 통합하는 포괄적인 기초 모델을 위한 청사진을 제공합니다.
Hoffmann et al. (Sat,)는 이 질문을 연구했습니다.