DataComp-LM: 차세대 언어 모델 훈련 세트를 찾기 위한 연구

우리는 언어 모델을 개선하기 위한 목적의 통제된 데이터셋 실험을 위한 테스트베드인 DataComp for Language Models (DCLM)을 소개합니다. DCLM의 일환으로, 우리는 Common Crawl에서 추출한 240T 토큰으로 구성된 표준화된 말뭉치를 제공하며, OpenLM 프레임워크를 기반으로 하는 효과적인 사전 훈련 레시피와 53개의 다양한 하위 평가를 포함합니다. DCLM 벤치마크에 참여하는 사람들은 중복 제거, 필터링, 데이터 혼합과 같은 데이터 큐레이션 전략을 412M에서 7B 파라미터까지의 모델 규모에서 실험할 수 있습니다. DCLM의 기준선으로서, 우리는 광범위한 실험을 수행하며 모델 기반 필터링이 고품질 훈련 세트를 구성하는 데 핵심임을 발견하였습니다. 그 결과 생성된 데이터셋인 DCLM-Baseline은 2.6T 훈련 토큰으로 7B 파라미터 언어 모델을 처음부터 훈련하여 MMLU에서 64% 5샷 정확도를 달성할 수 있게 합니다. 공개 데이터 언어 모델에서의 이전 최첨단인 MAP-Neo와 비교할 때, DCLM-Baseline은 MMLU에서 6.6% 포인트 개선을 나타내며, 훈련에 필요한 컴퓨트는 40% 더 적습니다. 우리의 기준선 모델은 또한 MMLU에서 Mistral-7B-v0.3 및 Llama 3 8B와 비슷한 성능을 보이며 (63% 및 66%), Llama 3 8B보다 6.6배 적은 컴퓨트를 사용하여 평균 53개의 자연어 이해 작업에서도 유사한 성능을 발휘합니다. 우리의 결과는 언어 모델 훈련을 위한 데이터셋 설계의 중요성을 강조하고 데이터 큐레이션에 대한 추가 연구의 시작점이 됩니다.