تعزيز تمثيلات اللغة المدربة مسبقاً بمعرفة غنية لفهم القراءة الآلية

فهم القراءة الآلية (MRC) هو مهمة حاسمة وصعبة في معالجة اللغة الطبيعية (NLP). مؤخراً، حققت نماذج اللغة المدربة مسبقاً (LMs)، وخاصة BERT، نجاحاً ملحوظاً، مقدمة نتائج جديدة رائدة في MRC. في هذا العمل، نحقق في إمكانيات الاستفادة من قواعد المعرفة الخارجية (KBs) لتحسين BERT لمزيد من الفهم القراءة الآلية. نقدم KT-NET، الذي يستخدم آلية انتباه لاختيار المعرفة المطلوبة بشكل تكيفي من قواعد المعرفة، ثم يدمج المعرفة المختارة مع BERT لتمكين التنبؤات الواعية بالسياق والمعرفة. نعتقد أن هذا يجمع بين مزايا كلا من نماذج اللغة العميقة وقواعد المعرفة المنسقة نحو تحسين فهم القراءة الآلية. تشير النتائج التجريبية إلى أن KT-NET يقدم تحسينات كبيرة ومتسقة على BERT، متفوقاً على خطوط الأساس التنافسية في معايير ReCoRD وSQuAD1.1. ومن الجدير بالذكر أنه يحتل المركز الأول على قائمة ريادة ReCoRD، وهو أيضاً أفضل نموذج منفرد على قائمة ريادة SQuAD1.1 في وقت التقديم (4 مارس 2019).