ما وراء الهشاشة السريعة: تقييم موثوقية واتساق وجهات النظر السياسية في نماذج اللغة الكبيرة

نظرًا للاستخدام الواسع لنماذج اللغة الكبيرة (LLMs) في الأنظمة الشاملة، نحتاج إلى فهم ما إذا كانت تضم رؤية عالمية محددة وماreflect هذه الآراء. تشير الدراسات الحديثة إلى أنه، عند الاستجابة لاستبيانات سياسية، تظهر نماذج اللغة الكبيرة توجهات ليبرالية يسارية. ومع ذلك، لا يزال غير واضح ما إذا كانت هذه التوجهات موثوقة (قادرة على تحمل تقلبات المحفزات) وما إذا كانت التوجهات متسقة عبر السياسات والتوجهات السياسية. نقترح سلسلة من الاختبارات التي تقيم موثوقية واتساق مواقف نماذج اللغة الكبيرة بشأن التصريحات السياسية بناءً على مجموعة بيانات من استبيانات نصائح التصويت تم جمعها من سبع دول في الاتحاد الأوروبي وتم توضيحها لمجالات السياسات. ندرس نماذج اللغة الكبيرة التي تتراوح أحجامها من 7B إلى 70B من المعلمات ونجد أن موثوقيتها تزداد مع زيادة عدد المعلمات. تظهر النماذج الأكبر عمومًا توافقًا أقوى مع الأحزاب اليسارية ولكنها تختلف بين البرامج السياسية: تظهر موقفًا إيجابيًا (يساريًا) تجاه حماية البيئة، والرفاه الاجتماعي، ولكن أيضًا (يمينًا) تجاه القانون والنظام، دون تفضيلات متسقة في السياسة الخارجية، والهجرة، والاقتصاد.