هل تتغلب نماذج اللغة العصبية على تحيز التقارير؟

تواجه عملية استخراج المعرفة العامة من المجموعات البيانات تحيزًا في التقارير، حيث يتم تمثيل النادر بشكل مفرط على حساب التافه. نحن ندرس إلى أي مدى تتغلب نماذج اللغة المدربة مسبقًا على هذه المشكلة. نجد أنه بينما يسمح لها قدرتها على التعميم بتقدير احتمال حدوث تصرفات ونتائج وخصائص متكررة ولكن غير متحدث عنها بشكل أفضل، فإنها تميل أيضًا إلى المبالغة في تقدير تلك التي هي نادرة جدًا، مما يعزز التحيز الموجود بالفعل في مجموعة بيانات تدريبها.