نفس السؤال، كلمات مختلفة: إطار تنافسي كامن ل مرونة التحفيز

عدم الحساسية للاختلافات التي تحافظ على الدلالة في التحفيزات (التعابير المعاد صياغتها) أمر بالغ الأهمية لسلوك موثوق ونشر العالم الحقيقي لنماذج اللغة الكبيرة. ومع ذلك، تظهر نماذج اللغة تدهورًا كبيرًا في الأداء عند مواجهتها مع تحفيزات دلالتها مكافئة ولكن بصياغات مختلفة، والحلول الحالية تعتمد إما على هندسة التحفيز بالتجربة والخطأ أو تتطلب خوارزميات مكلفة حسابيًا في وقت الاستنتاج. في هذه الدراسة، المستندة إلى الفهم الرئيسي بأن أسوأ حالات التحفيز تشهد انحرافًا في فضاء التضمين، نقدم التفسير التنافسي الكامن (LAP)، وهو إطار تنافسي مزدوج: الحلقة الداخلية تُدرّب اضطراباً قابلاً للتعلم ليكون "إعادة صياغة مستمرة كامنة" مع الحفاظ على الدلالة من خلال تنظيم لاغرانج، بينما تقوم الحلقة الخارجية بتحسين معلمات نموذج اللغة بناءً على هذه الاضطرابات. نجري تجارب موسعة لإظهار فعالية LAP عبر عدة هياكل لنماذج اللغة على معيار RobustAlpaca مع تحسين مطلق يتراوح بين 0.5%-4% في أسوأ معدلات الفوز مقارنة بالتدريب المراقب التقليدي.