Pré-formation par instructions : les modèles de langage sont des apprenants multitâches supervisés

La pré-formation multitâche non supervisée a été la méthode clé derrière le succès récent des modèles de langage (LMs). Cependant, l'apprentissage multitâche supervisé conserve un potentiel important, car son extension dans la phase post-formation tend à améliorer la généralisation. Dans cet article, nous explorons la pré-formation multitâche supervisée en proposant la Pré-formation par Instructions, un cadre qui augmente de manière scalable de vastes corpus bruts avec des paires instruction-réponse pour pré-former les LMs. Les paires instruction-réponse sont générées par un synthétiseur d'instructions efficace basé sur des modèles open-source. Dans nos expériences, nous synthétisons 200 millions de paires instruction-réponse couvrant plus de 40 catégories de tâches pour vérifier l'efficacité de la Pré-formation par Instructions. En pré-formation depuis zéro, la Pré-formation par Instructions améliore non seulement de façon constante les modèles de base pré-formés, mais bénéficie aussi davantage d'un ajustement par instructions ultérieur. En pré-formation continue, la Pré-formation par Instructions permet à Llama3-8B d’être comparable voire de surpasser Llama3-70B. Notre modèle, code, et données sont disponibles sur https://github.com/microsoft/LMOps.