هل لا تزال على المسار الصحيح؟ اكتشاف انحراف المهام في النماذج اللغوية الكبيرة باستخدام التنشيطات

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل روتيني في التطبيقات المدعومة بالاسترجاع لتنظيم المهام ومعالجة المدخلات من المستخدمين ومصادر أخرى. يمكن أن تأتي هذه المدخلات، حتى في تفاعل واحد مع LLM، من مجموعة متنوعة من المصادر، بدرجات مختلفة من الموثوقية والموطن. يفتح هذا الباب لهجمات حقن التعليمات، حيث يتلقى LLM الأوامر من مصادر يُفترض أنها تحتوي على بيانات فقط، وبالتالي ينحرف عن التعليمات الأصلية للمستخدم. نحن نعرّف هذا بأنه انحراف المهام، ونقترح اكتشافه من خلال مسح وتحليل تنشيطات LLM. نقارن تنشيطات LLM قبل وبعد معالجة المدخلات الخارجية من أجل الكشف عما إذا كانت هذه المدخلات قد تسببت في انحراف التعليمات. نطور طريقتين للتحقق ونجد أن استخدام مصنف خطي بسيط يمكن أن يكشف عن الانحراف بدقة قريبة من الـ ROC AUC على مجموعة اختبار خارج التوزيع. نوضح أن هذه الطريقة تعممت بشكل مدهش على مجالات المهام غير المرئية، مثل حقن التعليمات، وكسر الحماية، والتعليمات الخبيثة، دون الحاجة إلى تدريبها على أي من هذه الهجمات. إعدادنا لا يتطلب أي تعديل على LLM (مثل الضبط الدقيق) أو أي توليد نص، مما يزيد من قابلية النشر وكفاءة التكلفة ويجنب الاعتماد على مخرجات النموذج غير الموثوقة. لتعزيز البحث في المستقبل حول فحص المهام المستندة إلى التنشيط، وفك الترميز، وقابلية التفسير، سنقوم بإصدار مجموعة أدوات TaskTracker على نطاق واسع، والتي تضم مجموعة بيانات تضم أكثر من 500 ألف حالة، وتمثيلات من 4 نماذج لغوية بحالة الفن، وأدوات فحص.