Key points are not available for this paper at this time.
ندرس مشكلة نمذجة اللغة الم masked متعددة اللغات، أي تدريب نموذج واحد على نصوص متراكبة من لغات متعددة، ونقدم دراسة مفصلة لعدة عوامل تؤثر على سبب فعالية هذه النماذج في النقل بين اللغات. نوضح، خلافًا لما تم افتراضه سابقًا، أن النقل ممكن حتى عند عدم وجود مفردات مشتركة عبر قواعد البيانات أحادية اللغة وأيضًا عندما يأتي النص من مجالات مختلفة تمامًا. الشرط الوحيد هو وجود بعض المعلمات المشتركة في الطبقات العليا من المشفر متعدد اللغات. لفهم هذه النتيجة بشكل أفضل، نوضح أيضًا أنه يمكن محاذاة التمثيلات من نماذج BERT أحادية اللغة بلغات مختلفة بشكل فعال بعد الحدث، مما يشير بقوة إلى أنه، تمامًا كما هو الحال مع تمثيلات الكلمات غير السياقية، هناك تماثلات كامنة عالمية في فضاءات التضمين المتعلمة. بالنسبة لنمذجة اللغة الم masked متعددة اللغات، يتم اكتشاف هذه التماثلات تلقائيًا ومحاذاتها خلال عملية التدريب المشترك.
درس كونيو وآخرون (الأربعاء) هذا السؤال.