دليل ذاتي: تحسين اتباع التعليمات الخاصة بالمهمة عبر التخصيص الذاتي المتولد

تحمل نماذج اللغة الكبيرة (LLMs) وعدًا بحل مهام متنوعة عند تزويدها بمطالبات مناسبة باللغة الطبيعية. ومع ذلك، غالبًا ما يؤدي التوجيه إلى جعل النماذج تقدم تنبؤات بدقة أقل مقارنة بتخصيص نموذج باستخدام بيانات تدريب وفيرة. من ناحية أخرى، بينما يحسن تخصيص نماذج اللغة الكبيرة على بيانات خاصة بالمهمة أداؤها بشكل عام، لا تتوفر مجموعات بيانات مشروحة كثيرة لكل المهام. بحثت الأعمال السابقة في توليد بيانات خاصة بالمهمة من نماذج اللغة الكبيرة الحديثة واستخدام هذه البيانات لتخصيص نماذج أصغر، لكن هذه الطريقة تتطلب الوصول إلى نموذج لغوي غير النموذج الجاري تدريبه، مما يضيف تكاليف وتحديات في التوسع وعقبات قانونية مرتبطة بالاعتماد المستمر على نماذج أكثر قوة. وردًا على ذلك، نقترح آلية SELF-GUIDE متعددة المراحل حيث ننتج أزواج إدخال-إخراج خاصة بالمهمة من نموذج اللغة الكبير المتعلم، ثم نستخدم هذه الأزواج لتخصيص نفس النموذج. في تقييمنا التجريبي على معيار Natural Instructions V2، وجدنا أن SELF-GUIDE يحسن أداء النموذج بفارق كبير. على وجه التحديد، نبلغ عن تحسن مطلق بحوالي 15% لمهام التصنيف و18% لمهام التوليد في معايير المعيار. يسلط هذا الضوء على إمكانية توجيه النماذج الكبيرة عبر البيانات المنتجة ذاتيًا لتصبح خبراء متخصصين في المهام دون الحاجة لإشارات تعلم خارجية.