تحتاج نماذج اللغة الصغيرة إلى مُدقّقين قويين لتصحيح التفكير عن ذاتها

ظهر التصحيح الذاتي كحل واعد لتعزيز أداء التفكير لنماذج اللغة الكبيرة (LLMs)، حيث تقوم LLMs بتحسين حلولها باستخدام نقد ذاتي تم إنشاؤه ذاتيًا يحدد الأخطاء. تستكشف هذه الدراسة ما إذا كانت نماذج اللغة الصغيرة (<= 13B) لديها القدرة على التصحيح الذاتي في مهام التفكير مع الحد الأدنى من المدخلات من النماذج الأقوى. نقترح خط أنابيب جديد يُحفز النماذج الصغيرة على جمع بيانات التصحيح الذاتي التي تدعم تدريب قدرات التحسين الذاتي. أولاً، نستفيد من الحلول الصحيحة لتوجيه النموذج في نقد ردوده غير الصحيحة. ثانيًا، تُستخدم الانتقادات الناتجة، بعد التصفية، لضبط النموذج ذاتيًا من خلال تحسين الحلول. تُظهر نتائج تجاربنا تحسينًا في قدرات التصحيح الذاتي لنموذجين على خمسة مجموعات بيانات تتناول الرياضيات والتفكير البديهي، مع مكاسب ملحوظة في الأداء عند اقترانها بمُدقّق قوي قائم على GPT-4، على الرغم من تحديد قيود عند استخدام مُدقّق ذاتي ضعيف لتحديد متى يجب التصحيح.