MOELoRA, ein parameter-effizientes Fine-Tuning-Framework, das Mixture-of-Experts und Low-Rank-Anpassung kombiniert, übertraf bestehende Fine-Tuning-Methoden bei einem Multi-Task medizinischen Datensatz.
Sonstiges
Das vorgeschlagene MOELoRA-Framework bietet eine parameter-effiziente Methode zum Fine-Tuning großer Sprachmodelle über verschiedene medizinische Aufgaben hinweg und adressiert Datenungleichgewicht und Rechenkosten.
Der jüngste Anstieg der großen Sprachmodelle (LLMs) hat in zahlreichen Bereichen erhebliche Aufmerksamkeit erregt. Oft ist ein Fine-Tuning erforderlich, um allgemeine LLMs an ein spezifisches Gebiet anzupassen, wie das webbasierte Gesundheitssystem. Während des Fine-Tunings von LLMs für medizinische Anwendungen treten jedoch zwei Probleme auf. Eines ist das Problem der Aufgabenvielfalt, das sich mit unterschiedlichen Aufgaben in realen medizinischen Szenarien befasst. Die Vielfalt führt oft zu suboptimalem Fine-Tuning aufgrund von Datenungleichgewicht und Wippproblemen. Darüber hinaus führt die große Anzahl an Parametern in LLMs zu hohem Zeit- und Rechenaufwand beim Fine-Tuning. Um diese beiden Probleme anzugehen, schlagen wir ein neuartiges, parameter effizientes Fine-Tuning-Framework für Multi-Task medizinische Anwendungen vor, das als MOELoRA bezeichnet wird. Das entwickelte Framework zielt darauf ab, sowohl die Vorteile von Mixture-of-Expert (MOE) für das Multi-Task-Learning als auch die Low-Rank-Anpassung (LoRA) für ein parameter effizientes Fine-Tuning zu nutzen. Um MOE und LoRA zu vereinen, entwerfen wir mehrere Experten als die trainierbaren Parameter, wobei jeder Experte aus einem Paar von Niedrig-Rang-Matrizen besteht, um die geringe Größe der trainierbaren Parameter beizubehalten. Dann schlagen wir eine auf die Aufgabe ausgerichtete Gate-Funktion für alle MOELoRA-Schichten vor, die die Beiträge jedes Experten steuern und unterschiedliche Parameter für verschiedene Aufgaben erzeugen kann. Wir führen Experimente an einem Multi-Task medizinischen Datensatz durch, die darauf hinweisen, dass MOELoRA bestehende parameter effiziente Fine-Tuning-Methoden übertrifft. Der Code ist online verfügbar.
Liu et al. (Wed,) führten eine andere Studie in Multi-Task medizinischen Anwendungen durch. MOELoRA gegen bestehende parameter effiziente Fine-Tuning-Methoden wurde anhand der Leistung auf einem Multi-Task medizinischen Datensatz bewertet. MOELoRA, ein parameter-effizientes Fine-Tuning-Framework, das Mixture-of-Experts und Low-Rank-Anpassung kombiniert, übertraf bestehende Fine-Tuning-Methoden auf einem Multi-Task medizinischen Datensatz.