LightPAFF: Ein Zwei-Stufen-Destillationsrahmen für Pre-Training und Fine-Tuning

Während das Pre-Training und Fine-Tuning, z. B. BERT~devlin2018bert, GPT-2~radford2019language, große Erfolge bei Sprachverständnis- und Generierungsaufgaben erzielt haben, sind die vortrainierten Modelle in Bezug auf Speicherbedarf und Inferenzgeschwindigkeit meist zu groß für den Online-Einsatz, was ihre praktische Online-Nutzung erschwert. In diesem Papier schlagen wir LightPAFF vor, ein Lightweight Pre-Training And Fine-Tuning Framework, das zwei-stufige Wissensdestillation nutzt, um Wissen von einem großen Lehrermodell auf ein leichtgewichtiges Studentenmodell in beiden Phasen des Pre-Trainings und Fine-Tunings zu übertragen. Auf diese Weise kann das leichte Modell eine ähnliche Genauigkeit wie das große Lehrermodell erreichen, jedoch mit wesentlich weniger Parametern und damit schnellerer Online-Inferenzgeschwindigkeit. LightPAFF kann verschiedene Pre-Training-Methoden (wie BERT, GPT-2 und MASS~song2019mass) unterstützen und auf viele nachgelagerte Aufgaben angewendet werden. Experimente zu drei Sprachverständnisaufgaben, drei Sprachmodellierungsaufgaben und drei Sequenz-zu-Sequenz-Generierungsaufgaben zeigen, dass LightPAFF, während es eine ähnliche Genauigkeit wie die großen Modelle BERT, GPT-2 und MASS erreicht, die Modellgröße um fast das Fünffache reduziert und die Online-Inferenzgeschwindigkeit um das 5- bis 7-Fache verbessert.