Nicht alle Experten sind gleich: Effizientes Expertenausdünnen und Überspringen für Mixture-of-Experts Large Language Models

Ein entscheidender Fortschritt bei der Entwicklung großer Sprachmodelle (LLMs) ist das Aufkommen der Mixture-of-Experts (MoE) LLMs. Im Vergleich zu herkömmlichen LLMs können MoE LLMs mit weniger Parametern eine höhere Leistung erzielen, doch ist ihre Bereitstellung aufgrund der enormen Anzahl an Parametern weiterhin schwierig. Anders als frühere Gewichtsausdünnungsverfahren, die speziell entworfene Hardware erforderten, zielt diese Arbeit hauptsächlich darauf ab, die Bereitstellungseffizienz von MoE LLMs durch einsteckbare sparsifizierende Techniken auf Expertenebene zu verbessern. Insbesondere schlagen wir erstmals nach unserem besten Wissen nachtrainierende Ansätze für aufgabenneutrales und aufgabenspezifisches Expertenausdünnen und -überspringen von MoE LLMs vor, die darauf ausgelegt sind, die Bereitstellungseffizienz zu erhöhen und gleichzeitig die Modellleistung über eine breite Palette von Aufgaben zu erhalten. Umfangreiche Experimente zeigen, dass unsere vorgeschlagenen Methoden zugleich Modellgrößen reduzieren und die Inferenzgeschwindigkeit erhöhen können, während zufriedenstellende Leistung beibehalten wird. Daten und Code werden verfügbar sein unter https://github.com/Lucky-Lance/ExpertSparsity.