تتبع جذور الحقائق في نماذج اللغات المتعددة: المعرفة المستقلة، المشتركة، والمتحولة

تعدّ اكتساب المعرفة الواقعية لنماذج اللغة (LMs) في اللغات ذات الموارد المنخفضة تحديًا كبيرًا، مما يستدعي اللجوء إلى النقل بين اللغات في نماذج اللغات المتعددة (ML-LMs). في هذه الدراسة، نتساءل كيف تكتسب نماذج ML-LMs وتُمثل المعرفة الواقعية. باستخدام مجموعة بيانات استكشاف المعرفة الواقعية متعددة اللغات، mLAMA، أجرينا أولاً تحقيقًا عصبيًا لنماذج ML-LMs (تحديدًا BERT متعددة اللغات). ثم تتبعنا جذور الحقائق إلى مصدر المعرفة (ويكيبيديا) لتحديد الطرق التي تكتسب بها ML-LMs الحقائق المحددة. وأخيرًا، حددنا ثلاثة أنماط لاكتساب وتمثيل الحقائق في ML-LMs: غير المعتمدة على اللغة، المشتركة والمتحولة عبر اللغات، وصممنا طرقًا لتفريقها. تؤكد نتائجنا التحدي المتمثل في الحفاظ على معرفة واقعية متسقة عبر اللغات، مشددة على الحاجة إلى تحسين تعلم تمثيل الحقائق في ML-LMs.