التعلم متعدد المهام لاستكمال رسم المعرفة باستخدام نماذج اللغة المدربة مسبقاً

مع اهتمام الأبحاث في استخدام المعرفة البشرية في معالجة اللغة الطبيعية، أصبح استكمال رسم المعرفة (KG) في دائرة الضوء. مؤخراً، تم تقديم طريقة جديدة لاستكمال رسم المعرفة باستخدام نموذج لغة مدرب مسبقاً، مثل KG-BERT، وقد أظهرت أداءً عالياً. ومع ذلك، لا تزال درجاته في مقاييس التصنيف مثل Hits@k خلف النماذج الحديثة. نحن ندعي أن هناك سببان رئيسيان: 1) الفشل في تعلم المعلومات العلائقية بشكل كافٍ في الرسوم البيانية للمعرفة، و 2) الصعوبة في اختيار الإجابة الصحيحة من بين المرشحين ذوي التشابه المعجمي. في هذه الورقة، نقترح طريقة فعالة للتعلم متعدد المهام لتجاوز قيود الأعمال السابقة. من خلال الجمع بين مهام التنبؤ بالعلاقات والتصنيف ذي الصلة مع مهمة توقع الروابط المستهدفة، يمكن للنموذج المقترح تعلم المزيد من الخصائص العلائقية في KGs وأداء بشكل صحيح حتى عندما يحدث التشابه المعجمي. تُظهر النتائج التجريبية أننا لا نقوم فقط بتحسين أداء التصنيف بشكل كبير مقارنةً بـ KG-BERT ولكننا أيضًا نحقق أداءً رائعًا في متوسط الترتيب و Hits@10 على مجموعة بيانات WN18RR.