CausaLM: تفسير النموذج السببي من خلال نماذج اللغة المضادة للواقع

ملخص: فهم التوقعات التي تصنعها الشبكات العصبية العميقة يعد أمرًا صعبًا للغاية، ولكنه أيضًا حاسم لنشرها. كما هو الحال مع جميع الطرق المعتمدة على تعلم الآلة، فإنها جيدة بقدر جودة بيانات التدريب الخاصة بها، ويمكن أن تلتقط أيضًا انحيازات غير مرغوب فيها. على الرغم من وجود أدوات يمكن أن تساعد في فهم ما إذا كانت هذه الانحيازات موجودة، إلا أنها لا تميز بين الارتباط والسببية، وقد تكون غير مناسبة للنماذج المعتمدة على النصوص وللتفكير في مفاهيم اللغة عالية المستوى. إحدى المشكلات الرئيسية في تقدير التأثير السببي لمفهوم تم الاهتمام به على نموذج معين هي أن هذا التقدير يتطلب إنشاء أمثلة مضادة للواقع، وهو أمر صعب مع التكنولوجيا الحالية. لسد هذه الفجوة، نقترح CausaLM، وهو إطار لإنتاج تفسيرات للنماذج السببية باستخدام نماذج تمثيل اللغة المضادة للواقع. تعتمد طريقتنا على التحسين الدقيق لنماذج التضمين السياق العميقة مع مهام مساعدة مناهضة مستمدة من الرسم البياني السببي للمشكلة. بشكل ملموس، نظهر أنه من خلال اختيار مهام ما قبل التدريب المناهضة المساعدة بعناية، يمكن لنماذج تمثيل اللغة مثل BERT أن تتعلم بشكل فعال تمثيلًا مضادًا للواقع لمفهوم معين، ويمكن استخدامها لتقدير تأثيرها السببي الحقيقي على أداء النموذج. من النتائج الجانبية لطريقتنا هو نموذج تمثيل لغة غير متأثر بالمفهوم المختبر، وهو ما يمكن أن يكون مفيدًا في التخفيف من الانحياز غير المرغوب فيه المتجذر في البيانات.