May 1, 202415 citationsOpen Access

Optimierung des verteilten Trainings auf Frontier für große Sprachmodelle

SDSajal DashArgonne National Laboratory ILIsaac LyngaasFlorida State University JYJunqi YinOak Ridge National Laboratory

Key Points

Um hohe Durchsatzraten bei großen Sprachmodellen zu erreichen, ist es erforderlich, die Strategien für verteiltes Training, einschließlich Modell- und Datenparallelismus, zu optimieren.
Wir erzielten GPU-Durchsätze von 38,38 %, 36,14 % und 31,96 % für Modelle mit 22 Milliarden, 175 Milliarden und 1 Billion Parametern.
Die Bewertung von Techniken wie Tensor- und Pipelineparallelität identifizierte effektive Kombinationen für verbesserte Skalierungseffizienz bei Modellen mit Milliarden von Parametern. Jedes große Sprachmodell zeigte starke Skalierungseffizienzen von 89 % und 87 %, als es auf bestimmten GPU-Konfigurationen trainiert wurde.

Abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge als fundamentale Modelle gezeigt und profitieren in verschiedenen nachgelagerten Anwendungen durch Feinabstimmung. Studien zur Verlustskalierung haben die überlegene Leistung größerer LLMs im Vergleich zu ihren kleineren Pendants demonstriert. Dennoch stellt das Training von LLMs mit Milliarden von Parametern erhebliche Herausforderungen dar und erfordert erhebliche Rechenressourcen. Zum Beispiel erfordert das Training eines GPT-ähnlichen Modells mit einer Billion Parametern auf 20 Billionen Token erstaunliche 120 Millionen Exaflops. Diese Forschung untersucht effiziente Strategien für verteiltes Training, um diese Berechnung von Frontier, dem weltweit ersten Exascale-Supercomputer, zu extrahieren. Wir ermöglichen und untersuchen verschiedene Techniken für paralleles Modell- und Datentraining, wie Tensorparallelität, Pipelineparallelität und shard-basiertes Datenparallelismus, um das Training eines Modells mit einer Billion Parametern auf Frontier zu erleichtern. Wir bewerten empirisch diese Techniken und deren zugehörige Parameter, um ihre Auswirkungen auf den Speicherbedarf, die Kommunikationslatenz und die Rechenleistung der GPU zu bestimmen. Wir analysieren das komplexe Zusammenspiel dieser Techniken und finden eine Strategie, um sie zu kombinieren, um durch Hyperparameteroptimierung eine hohe Durchsatzrate zu erreichen. Wir haben effiziente Strategien für das Training großer LLMs unterschiedlicher Größen durch empirische Analyse und Hyperparameteroptimierung identifiziert. Für Modelle mit 22 Milliarden, 175 Milliarden und 1 Billion Parametern erzielten wir GPU-Durchsätze von 38,38 %, 36,14 % und 31,96 %. Für das Training des Modells mit 175 Milliarden Parametern und des Modells mit 1 Billion Parametern erreichten wir eine 100% schwache Skalierungseffizienz auf 1024 bzw. 3072 Mi250X GPUs. Wir erzielten auch starke Skalierungseffizienzen von 89 % und 87 % für diese beiden Modelle. Wir trainierten diese Modelle nur für einige Dutzend Iterationen, anstatt bis zur Vollständigkeit zu trainieren.

KI fragen

Bookmark

View Full Paper