Méthodes d'ajustement fin efficient en paramètres pour les modèles de langage préentraînés : Une revue critique et une évaluation

Avec la croissance continue du nombre de paramètres des modèles de langage préentraînés basés sur les transformateurs (PLMs), en particulier l'émergence de modèles de langage de grande taille (LLMs) avec des milliards de paramètres, de nombreuses tâches de traitement du langage naturel (NLP) ont démontré un succès remarquable. Cependant, la taille énorme et les exigences computationnelles de ces modèles posent des défis importants pour les adapter à des tâches en aval spécifiques, surtout dans des environnements avec des ressources informatiques limitées. L'Ajustement Fin Efficace en Paramètres (PEFT) offre une solution efficace en réduisant le nombre de paramètres d'ajustement fin et l'utilisation de la mémoire tout en atteignant des performances comparables à celles d'un ajustement fin complet. Les exigences pour l'ajustement fin des PLMs, en particulier des LLMs, ont entraîné une hausse du développement de méthodes PEFT, comme le montre la Fig. 1. Dans cet article, nous présentons une revue complète et systématique des méthodes PEFT pour les PLMs. Nous résumons ces méthodes PEFT, discutons de leurs applications et esquissons des directions futures. En outre, nous réalisons des expériences en utilisant plusieurs méthodes PEFT représentatives pour mieux comprendre leur efficacité en termes d'efficacité des paramètres et d'efficacité de la mémoire. En offrant des aperçus sur les dernières avancées et applications pratiques, cette enquête sert de ressource inestimable pour les chercheurs et les praticiens cherchant à naviguer dans les défis et les opportunités présentés par le PEFT dans le contexte des PLMs.