الوصف يمكن لنماذج اللغة الكبيرة (LLMs) توليد استجابات شديدة الطلاقة، ومع ذلك تظل عرضة للهلوسة: إنتاج مخرجات غير مدعومة، غير متسقة، أو غير صحيحة من الناحية الواقعية. تقدم هذه الورقة AKRM (إطار التحكم في وقت الاستنتاج لتقليل الهلوسة في نماذج اللغة الكبيرة)، وهو هيكل خفيف الوزن مصمم لتقليل الهلوسة دون إعادة تدريب أو تعديل معلمات النموذج. تعالج AKRM الهلوسة كحالة عدم استقرار قابلة للقياس خلال توليد النماذج الذاتية بدلاً من اعتبارها فشل في الثقة فقط. في كل خطوة فك تشفير، يقوم الإطار بتقدير درجة موثوقية معرفية مستمرة من عدة إشارات (مثل: انتروبيا الرموز، الخلاف العشوائي، ثقة المدقق، ودعم الاسترجاع). يتم بعد ذلك استخدام دالة عدم الاستقرار لاكتشاف حالات التوليد ذات الصراع العالي. عندما يتجاوز عدم الاستقرار عتبة معينة تم معايرتها، تنشط AKRM ثلاثة آليات تحكم منسقة: Gate الرفض – تخفف الاستمرارات غير المستقرة تنعيم الحالة التكرارية – تقلل من انتشار الأخطاء عبر الخطوات المشغل المناسب للخروج – يتيح الامتناعcontrolled تحت عدم الاستقرار المستمر. الإطار مستقل عن النموذج ويمكن أن يتم تطبيقه على نماذج اللغة الكبيرة الذاتية الحالية في وقت الاستنتاج. تشير التقييمات التجريبية على Llama-3-8B و Mistral-7B عبر TruthfulQA و HaluEval واختبار الاتساق بأسلوب SelfCheck و GSM8K إلى تقليص مستمر في الأخطاء المتعلقة بالهلوسة مع زيادة معتدلة في زمن الانتظار وانخفاض محدود في الطلاقة. تقترح AKRM بديلاً عمليًا لطرق الأمان التي تعتمد على إعادة التدريب وت suggest أن تخفيف الهلوسة يمكن التعاطي معه كمشكلة تحكم في الوقت الحقيقي أثناء توليد الرموز. النسخة: 1.0 النوع: ورقة مسبقة الحالة: غير مراجعة من قبل الأقران الترخيص: موصى به CC BY 4.0 الكلمات الرئيسية: نماذج اللغة الكبيرة، تخفيف الهلوسة، تقدير عدم اليقين، التحكم في فك التشفير، الامتناع الانتقائي، أمان الذكاء الاصطناعي.
درس إينس أكن (مون) هذا السؤال.