AutoHete : Un système automatique et efficace d'entraînement hétérogène pour les LLMs

Les modèles de langage de grande taille (LLMs) basés sur Transformer ont démontré des capacités exceptionnelles en modélisation de séquences et génération de texte, avec des améliorations proportionnelles à la taille du modèle. Cependant, les limitations de la mémoire GPU ont restreint l'accessibilité à l'entraînement des LLMs pour de nombreux chercheurs. Les méthodes existantes d'entraînement hétérogène augmentent significativement l'échelle des modèles entraînables, mais introduisent des surcharges importantes de communication et de charge CPU. Dans ce travail, nous proposons AutoHete, un système automatique et efficace d'entraînement hétérogène compatible avec les environnements mono-GPU et multi-GPU. AutoHete ajuste dynamiquement la gestion des points de contrôle d'activation, le déchargement des paramètres et le déchargement des optimiseurs en fonction de la configuration matérielle spécifique et des besoins d'entraînement des LLMs. De plus, nous concevons un mécanisme de planification basé sur la priorité qui maximise le chevauchement des opérations à travers les itérations d'entraînement, améliorant le débit. Comparé aux systèmes d'entraînement hétérogène les plus avancés, AutoHete offre une amélioration du débit de 1,32x à 1,91x sur diverses tailles de modèles et configurations d'entraînement.