بيرت المعتمد على الأعطال ووعي المجالات لتحليل المشاعر عبر المجالات

يهدف تصنيف المشاعر عبر المجالات إلى معالجة نقص كميات ضخمة من البيانات الموسومة. يتطلب التنبؤ بقطبية المشاعر في مجال مستهدف باستخدام مصنف تم تعلمه من مجال مصدر. في هذه الورقة، نحقق في كيفية تطبيق نموذج اللغة المدرب مسبقًا BERT بكفاءة على تكيف المجال غير المراقب. نظرًا لمهمة التدريب المسبق والمجموعة، فإن BERT غير مرتبط بالمهمة، مما يفتقر إلى الوعي بالمجال ولا يمكنه التمييز بين خصائص المجال المصدر والمجال المستهدف عند نقل المعرفة. لمعالجة هذه المشاكل، نصمم إجراءً بعد التدريب، يحتوي على مهمة نموذج اللغة المقيد للمجال المستهدف ومهمة جديدة للتدريب المسبق لتمييز المجال. سيشجع إجراء ما بعد التدريب BERT على أن يكون واعيًا بالمجال وتقطير الميزات المحددة للمجال بطريقة ذاتية الإشراف. بناءً على ذلك، يمكننا بعد ذلك إجراء التدريب على الخصوم للحصول على الميزات المحسنة المستقلة عن المجال. تظهر التجارب الواسعة على مجموعة بيانات أمازون أن نموذجنا يتفوق على أحدث الطرق بفارق كبير. تظهر دراسة الإبطال أن التحسين الملحوظ لا يأتي فقط من BERT ولكن أيضًا من طريقتنا.