AutoLoRA: ضبط صفوف المصفوفات تلقائياً في التكيف ذي الرتبة المنخفضة استنادًا إلى التعلم الأسي

لقد حقق التدريب المسبق على نطاق واسع متبوعاً بالتعديل الدقيق المحدد حسب المهمة نجاحًا كبيرًا في مهام معالجة اللغة الطبيعية المتنوعة. نظرًا لأن تعديل جميع معلمات النماذج الكبيرة المدربة مسبقًا يمثل تحديات كبيرة في الحساب والذاكرة، تم تطوير عدة طرق فعالة للتعديل الدقيق. من بين هذه الطرق، يثبت التكيف ذي الرتبة المنخفضة (LoRA)، الذي يقوم بتعديل مصفوفات تحديث منخفضة الرتبة على قمة الأوزان المدربة مسبقًا المجمدة، فعاليته بشكل خاص. ومع ذلك، فإن تخصيص رتبة موحدة لـ LoRA عبر جميع الطبقات، إلى جانب اعتماده على بحث شامل للعثور على أفضل رتبة، يؤدي إلى تكاليف حسابية عالية وأداء تعديل دقيق دون المستوى الأمثل. للتغلب على هذه القيود، نقدم AutoLoRA، وهو إطار عمل قائم على التعلم الأسي لتحديد الرتبة المثلى لكل طبقة LoRA تلقائيًا. يرتبط كل مصفوفة ذات رتبة 1 في مصفوفة التحديث منخفضة الرتبة بمتغير اختيار، والذي يحدد ما إذا كان يجبdiscarding مصفوفة الرتبة 1. تم تطوير طريقة قائمة على التعلم الأسي لتعلم هذه المتغيرات الاختيارية. يتم تحديد الرتبة المثلى من خلال تحديد قيم هذه المتغيرات. تُظهر تجاربنا الشاملة على فهم اللغة الطبيعية، والتوليد، وترميز التسلسل فعالية AutoLoRA.