دمج المعرفة المعجمية والنحوية للنقل عبر اللغات بدون إشراف

يتضمن النقل عبر اللغات بدون إشراف نقل المعرفة بين اللغات دون إشراف صريح. على الرغم من أنه قد أجريت العديد من الدراسات لتحسين الأداء في مثل هذه المهام من خلال التركيز على المعرفة عبر اللغات، خصوصًا المعرفة المعجمية والنحوية، فإن الأساليب الحالية محدودة لأنها تدمج فقط المعلومات النحوية أو المعجمية. نظرًا لأن كل نوع من المعلومات يقدم مزايا فريدة ولم تحاول المحاولات السابقة دمج الاثنين، فإننا نحاول استكشاف إمكانيات هذا النهج. في هذه الورقة، نقدم إطار عمل جديد يسمى "BERT متعدد اللغات المعزز بالمعجم والنحو" يجمع بين المعرفة المعجمية والنحوية. تحديدًا، نستخدم BERT متعدد اللغات (mBERT) كنموذج أساسي ونستخدم تقنيتين لتعزيز قدراته التعليمية. تُستخدم تقنية تبديل الرموز لتعليم النموذج ضمنيًا معلومات التوافق المعجمي، بينما تم تصميم شبكة انتباه بيانية تعتمد على النحو لمساعدة النموذج على ترميز الهيكل النحوي. لدمج كلا النوعين من المعرفة، ندخل تسلسلات معكوسة الرموز إلى كل من الوحدة النحوية ونموذج mBERT الأساسية في نفس الوقت. تظهر نتائج تجاربنا الواسعة أن هذا الإطار يمكن أن يتجاوز باستمرار جميع معايير النقل عبر اللغات بدون صدمات، مع مكاسب تتراوح بين 1.0~3.7 نقاط في مهام تصنيف النصوص، التعرف على الكيانات المسماة، والبحث الدلالي.