التعديل الدقيق منخفض الرتبة لنماذج اللغة الكبيرة: منظور الإنصاف

أصبحت تقنيات التقريب منخفض الرتبة المعيار الفعلي للتعديل الدقيق لنماذج اللغة الكبيرة بسبب انخفاض متطلباتها الحاسوبية والذاكرية. تبحث هذه الورقة في فعالية هذه الطرق في التقاط تحول مجموعات بيانات التعديل الدقيق عن توزيع البيانات المدربة مسبقًا الأولي. تكشف نتائجنا عن وجود حالات يفشل فيها التعديل الدقيق منخفض الرتبة في تعلم مثل هذه التحولات. وهذا بدوره يؤدي إلى آثار جانبية لا يمكن تجاهلها، خاصةً عندما يُستخدم التعديل الدقيق لتقليل السمية في النماذج المدربة مسبقًا، أو في السيناريوهات التي يكون فيها توفير نماذج عادلة أمرًا مهمًا. من خلال أدلة تجريبية شاملة على عدة نماذج ومجموعات بيانات ومهام، نظهر أن التعديل الدقيق منخفض الرتبة يحافظ بشكل غير مقصود على التحيزات والسلوكيات السامة غير المرغوب فيها. كما نوضح أن هذا يمتد إلى مهام اتخاذ القرار التسلسلية، مما يؤكد الحاجة إلى تقييم دقيق لتعزيز تطوير نماذج اللغة الكبيرة المسؤولة.