SDPipe: Ein semi-dezentralisiertes Framework für heterogenitätsbewusstes pipeline-paralleles Training

Die zunehmende Größe sowohl von Deep Learning-Modellen als auch von Trainingsdaten erfordert die Fähigkeit, das Modelltraining durch pipeline-paralleles Training zu skalieren, das pipeliniertes Modellparallelismus und Datenparallelismus kombiniert. Die meisten von ihnen gehen jedoch von einem idealen homogenen dedizierten Cluster aus. In realen Cloud-Clustern leiden diese Ansätze unter dem intensiven Synchronisationsaufwand des Modells aufgrund der dynamischen Umgebungsheterogenität. Diese enorme Herausforderung hinterlässt das Design in einem Dilemma: entweder der Leistungsengpass des zentralen Parameterservers (PS) oder die schwere Leistungseinbuße, die durch Stragglers für die dezentrale Synchronisation (wie All-Reduce) verursacht wird. Dieser Ansatz präsentiert SDPipe, ein neues semi-dezentralisiertes Framework, um das Beste aus beiden Welten zu erreichen, und sowohl hohe Heterogenitätstoleranz als auch Konvergenzeffizienz im pipeline-parallelen Training zu erzielen. Um hohe Leistung zu bieten, dezentralisieren wir die Synchronisation des Kommunikationsmodells, die den größten Anteil am Synchronisationsaufwand ausmacht. Im Gegensatz dazu zentralisieren wir den Prozess der Gruppenscheduling, der leichtgewichtig ist, aber eine globale Sicht für bessere Leistung und Konvergenzgeschwindigkeit gegen Heterogenität benötigt. Wir zeigen durch eine Prototypimplementierung den signifikanten Vorteil von SDPipe in Bezug auf Leistung und Skalierbarkeit in unterschiedlichen Umgebungen.