نماذج اللغة الكبيرة لديها قدرة تصحيح ذاتي داخلية

لقد جذبت نماذج اللغة الكبيرة (LLMs) اهتمامًا كبيرًا لقدرتها الملحوظة في مهام معالجة اللغة الطبيعية المختلفة، لكنها تعاني من الهلاوس التي ستؤدي إلى انخفاض الأداء. واحدة من الحلول الواعدة لتحسين أداء LLMs هي أن نطلب منها مراجعة إجاباتها بعد التوليد، وهي تقنية تعرف باسم التصحيح الذاتي. من بين نوعي التصحيح الذاتي، يُعتبر التصحيح الذاتي الداخلي اتجاهًا واعدًا لأنه لا يستخدم المعرفة الخارجية. ومع ذلك، تشكك الأعمال الأخيرة في صلاحية قدرة LLM على إجراء التصحيح الذاتي الداخلي. في هذه الورقة، نقدم منظورًا جديدًا حول قدرات التصحيح الذاتي الداخلي لـ LLMs من خلال التحليلات النظرية والتجارب التجريبية. بالإضافة إلى ذلك، نحدد عاملين حاسمين لنجاح التصحيح الذاتي: درجة حرارة صفر وأوامر عادلة. باستخدام هذه العوامل، نظهر أن القدرة على التصحيح الذاتي الداخلي تُظهر عبر العديد من LLMs القائمة. تقدم نتائجنا رؤى حول النظريات الأساسية التي تكمن وراء سلوك التصحيح الذاتي لـ LLMs وتسلط الضوء على أهمية الأوامر غير المتحيزة وإعدادات درجة الحرارة الصفرية في استغلال إمكانياتها الكاملة.