دراسة تجريبية لتأثير التثبيت في نماذج اللغة الكبيرة: الوجود، الآلية، والتدابير المحتملة

أدى ظهور نماذج اللغة الكبيرة (LLMs) مثل ChatGPT إلى تقدم في معالجة اللغة الطبيعية، إلا أن المخاوف المتعلقة بالانحيازات المعرفية تزداد. في هذه الورقة، نحقق في تأثير التثبيت، وهو انحياز معرفي يعتمد فيه العقل بشكل كبير على أول معلومة كنقطة تثبيت لاتخاذ أحكام متأثرة. نستكشف ما إذا كانت نماذج اللغة الكبيرة تتأثر بالتثبيت، والآليات الكامنة، واستراتيجيات التخفيف المحتملة. لتسهيل الدراسات على نطاق واسع حول تأثير التثبيت، نقدم مجموعة بيانات جديدة، SynAnchors. بالجمع بين مقاييس تقييم مصقولة، نقوم بتقييم نماذج اللغة الكبيرة الشائعة الاستخدام حالياً. تُظهر نتائجنا أن انحياز التثبيت في نماذج اللغة الكبيرة شائع مع عمل الطبقات السطحية ولا يُزال بالاستراتيجيات التقليدية، بينما يمكن للقدرة على الاستدلال أن تقدم بعض التخفيف. يدعو هذا الإطار من خلال علم النفس المعرفي إلى أن تركز تقييمات نماذج اللغة الكبيرة ليس على المعايير القياسية أو اختبارات الصلابة المفرطة الت优化، بل على تقييم موثوق واعٍ بالانحيازات المعرفية.