Key points are not available for this paper at this time.
تتفوق نماذج اللغة الكبيرة المعتمدة على المحولات، مثل BERT و GPT-3، على الهياكل السابقة في معظم مهام معالجة اللغة الطبيعية. يتم تدريب مثل هذه النماذج اللغوية أولاً على نصوص ضخمة، ثم تُستخدم كنموذج أساسي للتدريب الدقيق على مهمة معينة. نظرًا لأن خطوة التدريب المسبق عادةً لا تُعاد، فإن النماذج الأساسية لا تعكس أحدث المعلومات. في هذه الورقة، نقوم بتحديث RobBERT، وهو نموذج لغة هولندي مبني على RoBERTa، الذي تم تدريبه في عام 2019. أولاً، يتم تحديث مُجزئ النص الخاص بـ RobBERT ليشمل رموزًا جديدة ذات تكرار عالٍ موجودة في أحدث مجموعة بيانات الهولندية OSCAR، مثل الكلمات المتعلقة بكورونا. ثم نقوم بمزيد من التدريب المسبق على نموذج RobBERT باستخدام هذه المجموعة. لتقييم ما إذا كان نموذجنا الجديد بديلًا مناسبًا لـ RobBERT، نقدم معيارين إضافيين قائمين على تغيير المفهوم للرموز الحالية والتوافق مع الرموز الجديدة. وجدنا أنه بالنسبة لمهام لغوية معينة، يؤدي هذا التحديث إلى زيادة ملحوظة في الأداء. هذه النتائج تسلط الضوء على فائدة تحديث نموذج اللغة بشكل مستمر ليواكب استخدام اللغة المتطور.
ديلوبيل وآخرون (الثلاثاء) درسوا هذا السؤال.