كشف المحتوى الوهمي في توليد تسلسل عصبي شرطي

يمكن لنماذج التسلسل العصبي أن تولد جملًا ذات طلاقة عالية، ولكن الدراسات الأخيرة أظهرت أيضًا أنها عرضة لتوليد محتوى إضافي غير مدعوم من الإدخال. هذه الأنواع من المخرجات الطليقة ولكن الخاطئة تمثل مشكلة خاصة، حيث لن يكون من الممكن للمستخدمين أن يعرفوا أنهم يتم تقديم محتوى غير صحيح. للكشف عن هذه الأخطاء، نقترح مهمة للتنبؤ بما إذا كان كل رمز في تسلسل الخرج وهمي (غير موجود في الإدخال) ونجمع مجموعات تقييم جديدة تم تحديدها يدويًا لهذه المهمة. نحن أيضًا نقدم طريقة لتعليم الكشف عن الهلوسات باستخدام نماذج لغوية مدربة مسبقًا تم تحسينها على بيانات صناعية تشمل هلوسات مدرجة تلقائيًا. تُظهر التجارب على الترجمة الآلية (MT) والتلخيص الاستنتاجي أن أسلوبنا المقترح يتفوق باستمرار على معايير قوية في جميع مجموعات البيانات المرجعية. نوضح أيضًا كيفية استخدام تسميات الهلوسة على مستوى الرموز لتعريف خسارة دقيقة على تسلسل الهدف في MT منخفض الموردين ونحقق تحسينات كبيرة مقارنة بأساليب الأساس القوية. كما نطبق طريقتنا على تقدير جودة على مستوى الكلمات لـ MT ونظهر فعاليتها في كل من الإعدادات الخاضعة للإشراف وغير الخاضعة للإشراف. الأكواد والبيانات متاحة على https://github.com/violet-zct/fairseq-detect-hallucination.