Parallélisme expert connecté par raccourci pour accélérer les mélanges d'experts

Le parallélisme expert a été introduit comme une stratégie pour distribuer la charge de travail computationnelle des modèles de mélange d'experts (MoE) à portes dispersées sur plusieurs dispositifs informatiques, facilitant l'exécution de ces modèles de plus en plus à grande échelle. Cependant, la communication de type All-to-All, intrinsèque au parallélisme expert, constitue une surcharge significative, diminuant l'efficacité des modèles MoE. Les approches d'optimisation actuelles offrent un certain soulagement, mais elles sont contraintes par l'interdépendance séquentielle des opérations de communication et de calcul. Pour remédier à cette limite, nous présentons une nouvelle architecture MoE connectée par raccourci avec une stratégie parallèle chevauchante, désignée sous le nom de ScMoE, qui découple efficacement la communication de sa séquence conventionnelle, permettant un chevauchement substantiel de 70 % à 100 % avec le calcul. Comparé à l'architecture MoE top-2 répandue, ScMoE démontre des améliorations de vitesse d'entraînement de 30 % et 11 %, et des améliorations d'inférence de 40 % et 15 %, dans nos environnements matériels PCIe et NVLink, respectivement, où la communication représente 60 % et 15 % de la consommation totale de temps MoE. D'autre part, des expériences approfondies et des analyses théoriques indiquent que ScMoE n'atteint pas seulement une qualité de modèle comparable mais, dans certains cas, dépasse la qualité des modèles des approches existantes dans les tâches de vision et de langage.