Suppression des Outliers+: Quantification précise des grands modèles de langage par décalage et mise à l'échelle équivalents et efficaces

La quantification post-formation (PTQ) des modèles de langage transformeurs fait face à des défis significatifs en raison de l'existence d'outliers nuisibles dans les activations. Nous observons que ces outliers sont concentrés dans des canaux spécifiques et sont asymétriques entre les canaux. Pour résoudre ce problème, nous proposons le cadre Suppression des Outliers+ (OS+), qui contient le décalage canalisé pour l'asymétrie et la mise à l'échelle canalisée pour la concentration. Nous montrons que ces opérations peuvent être migrées sans couture dans les modules suivants tout en maintenant l'équivalence. Deuxièmement, nous proposons un schéma rapide et stable pour calculer les valeurs de décalage et de mise à l'échelle efficaces. Le décalage canalisé aligne le centre de chaque canal pour éliminer l'asymétrie des outliers. La mise à l'échelle canalisée évalue quantitativement les changements apportés par la migration et la quantification pour un meilleur équilibre de la charge de quantification. Nous validons notre OS+ sous des paramètres de quantification standard et précis avec des modèles comprenant BERT, OPT, BLOOM, BLOOMZ et LLaMA. Des résultats complets sur diverses tâches démontrent la supériorité de notre approche. En particulier, avec la quantification standard, OS+ peut atteindre des performances proches des points flottants à la fois sur de petits modèles et de grands modèles de langage en 8 bits et 6 bits. De plus, nous établissons un nouvel état de l'art pour le BERT 4 bits avec une amélioration de 15,5 %. Notre code est disponible à https: //github. com/ModelTC/OutlierSuppressionPlus.