Key points are not available for this paper at this time.
بينما تواصل نماذج الشبكات العصبية الحديثة تحقيق درجات أقل من الارتباك في معايير نمذجة اللغة، لا يزال غير معروف ما إذا كان تحسين الأداء التنبؤي ذو النطاق الواسع يؤدي إلى معرفة نحوية تشبه الإنسان. علاوة على ذلك، لم توفر الأعمال الحالية صورة واضحة حول خصائص النموذج المطلوبة لإنتاج تعميمات نحوية صحيحة. نقدم تقييمًا منهجيًا للمعرفة النحوية لنماذج اللغة العصبية، مختبرين 20 مزيجًا من أنواع النماذج وأحجام البيانات على مجموعة من 34 مجموعة اختبار نحوية باللغة الإنجليزية. نجد اختلافات ملحوظة في أداء التعميم النحوي حسب بنية النموذج، حيث تفشل النماذج المتتابعة في تحقيق الأداء المطلوب مقارنة ببنيات أخرى. من خلال التلاعب بنية النموذج وحجم مجموعة بيانات التدريب (1M-40M كلمة)، نجد أن التباين في أداء التعميم النحوي يكون أكبر بكثير حسب البنية منه حسب حجم مجموعة البيانات للمواد التي تم اختبارها في تجاربنا. تكشف نتائجنا أيضًا عن انفصال بين الارتباك وأداء التعميم النحوي.
درس هو وآخرون (الأربعاء) هذا السؤال.