HetHub: Ein heterogenes verteiltes hybrides Trainingssystem für große Modelle

Die Entwicklung von groß angelegten Modellen basiert auf einer Vielzahl von Rechenressourcen. Das GPT-4-Modell (1,8 Billionen Parameter) benötigt beispielsweise 25000 A100-GPUs für sein Training. Es ist eine Herausforderung, einen Großcluster mit einer Art von GPU-Beschleuniger aufzubauen. Die Verwendung mehrerer Typen von GPU-Beschleunigern zum Aufbau eines Clusters ist eine effektive Möglichkeit, das Problem unzureichender homogener GPU-Beschleuniger zu lösen. Die bestehenden verteilten Trainingssysteme für groß angelegte Modelle unterstützen jedoch nur homogene GPU-Beschleuniger, nicht heterogene GPU-Beschleuniger. Um das Problem zu lösen, schlägt diese Arbeit ein verteiltes Trainingssystem mit Hybridparallelenunterstützung auf heterogenen GPU-Beschleunigern für groß angelegte Modelle vor. Es führt einen verteilten einheitlichen Kommunikator ein, um die Kommunikation zwischen heterogenen GPU-Beschleunigern zu ermöglichen, einen verteilten Leistungsprognosemechanismus und ein automatisches hybrides Parallelmodul, um Modelle effizient mit heterogenen GPU-Beschleunigern zu entwickeln und zu trainieren. Im Vergleich zum verteilten Trainingssystem mit homogenen GPU-Beschleunigern kann unser System sechs verschiedene Kombinationen von heterogenen GPU-Beschleunigern unterstützen, und die optimale Leistung der heterogenen GPU-Beschleuniger hat mindestens 90 % der theoretischen Obergrenze der Leistung homogener GPU-Beschleuniger erreicht.