تُعدّ الإجابة على الأسئلة متعددة الخطوات (MHQA) تقدمًا في معالجة اللغة الطبيعية من خلال دفع النماذج إلى دمج المعلومات من مصادر متعددة في سلسلة من خطوات التفكير. على الرغم من التقدم الكبير في MHQA للغة الإنجليزية، تظل الموارد المتاحة لتقييم نماذج اللغة الكبيرة (LLMs) باللغة البرتغالية نادرة. لمعالجة هذه الفجوة، نقدم ترجمة برتغالية متاحة للجمهور لمجموعة بيانات HotpotQA، وهو معيار معروف للإجابة على الأسئلة متعددة الخطوات باللغة الإنجليزية. نقوم بتقييم منهجي لعدة متغيرات من نموذج لغة Llama متعدد اللغات عبر كل من مجموعات البيانات الأصلية والمترجمة، مع تحليل التغيرات في الأداء بحسب اللغة. تُظهر نتائجنا أن النماذج متعددة اللغات تؤدي باستمرار بشكل أفضل باللغة الإنجليزية مقارنةً باللغة البرتغالية، رغم أن هذه الفجوة تضيق مع زيادة حجم النموذج. بالإضافة إلى ذلك، نظهر تأثير الضبط الدقيق على تحسين أداء MHQA باللغة البرتغالية. تقدم هذه الدراسة رؤى قيمة حول تحسين LLMs للسياقات متعددة اللغات وتساهم في معيار ذي صلة لأبحاث MHQA باللغة البرتغالية.
درس Mucciaccia وآخرون (Mon,) هذا السؤال.