تحسين تصنيف النصوص عبر التدريب العكسي المضاد

نقترح طريقة بسيطة وعامة لتنظيم الضبط الدقيق للمفككات المعتمدة على Transformer لمهام تصنيف النصوص. على وجه التحديد، خلال عملية الضبط الدقيق نقوم بإنشاء أمثلة معادية عن طريق تغيير مصفوفة تضمين الكلمات للنموذج وننفذ تعلمًا تضاديًا على الأمثلة النظيفة والمعادية من أجل تعليم النموذج كيفية تعلم تمثيلات مقاومة للضوضاء. من خلال التدريب على كل من الأمثلة النظيفة والمعادية جنبًا إلى جنب مع الهدف التضادي الإضافي، نلاحظ تحسينًا مستمرًا مقارنةً بالضبط الدقيق القياسي على الأمثلة النظيفة. في عدة مهام من مجموعة نتائج GLUE، يتفوق نموذجنا الضبط الدقيق BertLarge على نموذج BertLarge الأساسي بمعدل 1.7%، كما أن نموذجنا الضبط الدقيق RobertaLarge يتفوق على نموذج RobertaLarge الأساسي بمعدل 1.3%. بالإضافة إلى ذلك، نؤكد على طريقتنا في مجالات مختلفة باستخدام ثلاثة مجموعات بيانات لتصنيف النوايا، حيث يتفوق نموذج RobertaLarge الضبط الدقيق على نموذج RobertaLarge الأساسي بمعدل 1-2% في المتوسط. بالنسبة للسيناريو الصعب ذو الموارد المنخفضة، نقوم بتدريب نظامنا باستخدام نصف بيانات التدريب (لكل نية) في كل من مجموعات بيانات تصنيف النوايا الثلاث، ونحقق أداءً مشابهًا مقارنةً بالنموذج الأساسي المدرب مع بيانات التدريب الكاملة.