أخطاء شائعة في التسميات داخل مجموعات الاختبار تزعزع معايير التعلم الآلي

نحدد أخطاء التسميات في مجموعات الاختبار لـ 10 من أكثر مجموعات بيانات الرؤية الحاسوبية، اللغة الطبيعية، والصوت استخدامًا، ونقوم بعد ذلك بدراسة إمكانية تأثير هذه الأخطاء على نتائج المعايير. الأخطاء في مجموعات الاختبار عديدة ومتنوعة: نقدّر أن متوسط الأخطاء يبلغ على الأقل 3.3% عبر 10 مجموعات بيانات، حيث تتكون الأخطاء في التسميات على سبيل المثال من ما لا يقل عن 6% من مجموعة اختبار ImageNet. يتم تحديد الأخطاء المحتملة في التسميات باستخدام خوارزميات التعلم الواثق ثم يتم التحقق منها بشريًا عبر التجميع (51% من المرشحين الذين تم تحديدهم بواسطة الخوارزمية مصنفين بشكل خاطئ في المتوسط عبر مجموعات البيانات). تقليديًا، يختار ممارسو التعلم الآلي النموذج الذي سيتم نشره بناءً على دقة الاختبار - تنبهنا نتائجنا هنا إلى الحذر، مقترحة أن حكم النماذج على مجموعات اختبار تم تصنيفها بشكل صحيح قد يكون أكثر فائدة، خاصة لمجموعات البيانات الحقيقية المليئة بالضوضاء. من المدهش أن نجد أن النماذج منخفضة السعة قد تكون أكثر فائدة عمليًا من النماذج عالية السعة في مجموعات البيانات الحقيقية التي تحتوي على نسب عالية من البيانات المصنفة بشكل خاطئ. على سبيل المثال، على ImageNet مع التسميات المصححة: يتفوق ResNet-18 على ResNet-50 إذا زادت نسبة أمثلة الاختبار المصنفة بصورة خاطئة في الأصل بنسبة 6% فقط. على CIFAR-10 مع التسميات المصححة: يتفوق VGG-11 على VGG-19 إذا زادت نسبة أمثلة الاختبار المصنفة بصورة خاطئة في الأصل بنسبة 5% فقط. يمكن عرض أخطاء مجموعات الاختبار عبر 10 مجموعات البيانات على https://labelerrors.com ويمكن إعادة إنتاج جميع أخطاء التسميات بواسطة https://github.com/cleanlab/label-errors.