BaichuanSEED : Partager le potentiel de collecte de données extensives et de déduplication en introduisant une référence concurrentielle de modèle de langage large.

Les capacités générales des modèles de langage large (LLM) dépendent fortement de la composition et de la sélection de vastes ensembles de données de préformation, considérés comme des secrets commerciaux par plusieurs institutions. Pour atténuer ce problème, nous mettons en open source les détails d'un pipeline de traitement des données universellement applicable et validons son efficacité et son potentiel en introduisant une référence LLM concurrentielle. Plus précisément, le pipeline de traitement des données consiste en une large collecte pour augmenter l'échelle et un réajustement pour améliorer la qualité. Nous préentrainons ensuite un modèle de 7B, BaichuanSEED, avec 3T de tokens traités par notre pipeline sans aucune optimisation délibérée liée à une tâche en aval, suivie d'une étape de fine-tuning supervisé facile mais efficace. BaichuanSEED démontre cohérence et prévisibilité tout au long de l'entraînement et atteint des performances comparables sur des benchmarks complets avec plusieurs modèles de langage large avancés commercialement, tels que Qwen1.5 et Llama3. Nous effectuons également plusieurs expériences heuristiques pour discuter du potentiel d'optimisation supplémentaire des tâches en aval, telles que les mathématiques et la programmation.