Prune&Comp: غداء مجاني للنماذج اللغوية الكبيرة المقلمة بالطبقات عبر التقليم التكراري مع تعويض السعة

أصبح تقليم الطبقات تقنية واعدة لضغط النماذج اللغوية الكبيرة بينما يحقق تسريعًا متناسبًا مع نسبة التقليم. في هذا العمل، نحدد أن إزالة أي طبقة تؤدي إلى فجوة سعة كبيرة في الحالات المخفية، مما يؤدي إلى تدهور كبير في الأداء. لمعالجة هذه المشكلة، نقترح Prune&Comp، مخطط تقليم طبقات مبتكر يمكن استخدامه بسهولة يستفيد من تعويض السعة للتخفيف من هذه الفجوات بأسلوب لا يتطلب تدريبًا. تحديدًا، نقوم أولاً بتقدير فجوة السعة الناتجة عن إزالة الطبقة ثم نقوم بإزالة هذه الفجوة من خلال إعادة ضبط الأوزان المتبقية في وضع عدم الاتصال، دون أي استهلاك زمني. نوضح أيضًا مزايا Prune&Comp من خلال استراتيجية تقليم تكرارية. عند دمجه مع حلقة تقليم وتعويض تكرارية، يعزز Prune&Comp باستمرار مقاييس تقليم الطبقات الحالية. على سبيل المثال، عندما يتم تقليم 5 طبقات من LLaMA-3-8B باستخدام مقياس تأثير الكتل الشائع، فإن Prune&Comp يقلل من تعقيد النموذج تقريبًا إلى نصفه ويحتفظ بـ 93.19\% من أداء النموذج الأصلي في الإجابة على الأسئلة، متفوقًا على الأساس بمعدل 4.01%.