الجودة أم الكمية؟ حول مقياس البيانات وتن diversitas في تكيف نماذج اللغة الكبيرة للترجمة منخفضة الموارد

على الرغم من الشعبية الأخيرة لنماذج اللغة الكبيرة (LLMs) في الترجمة الآلية (MT)، إلا أن أداؤها في الترجمة منخفضة الموارد لا يزال متأخراً بشكل كبير عن نماذج الترجمة الآلية العصبية (NMT). في هذه الورقة، نستكشف ما هو مطلوب لتكييف نماذج اللغة الكبيرة للبيئات منخفضة الموارد. على وجه الخصوص، نعيد فحص دور عاملين: أ) أهمية وتطبيق البيانات المتوازية، و ب) التنوع في الضبط الدقيق الخاضع للإشراف (SFT). لقد أظهرت الأبحاث الأخيرة أن البيانات المتوازية أقل أهمية للترجمة الآلية باستخدام نماذج اللغة الكبيرة مقارنةً بأبحاث الترجمة الآلية السابقة. وبالمثل، فقد أظهر التنوع أثناء SFT أنه يعزز النقل الكبير في نماذج اللغة الكبيرة عبر اللغات والمهام. ومع ذلك، بالنسبة للترجمة الآلية باستخدام نماذج اللغة الكبيرة منخفضة الموارد، نثبت أن العكس هو الصحيح بالنظر إلى كلي العوامل: أ) البيانات المتوازية حاسمة خلال كل من التدريب السابق و SFT، و ب) يميل التنوع إلى التسبب في التداخل، وليس النقل. تكشف تجاربنا، التي أجريت مع 3 نماذج لغة كبيرة عبر مجموعتين لغويتين منخفضتين الموارد - الأمريكية الأصلية والشمالية الشرقية الهندية - عن أنماط متسقة في كلا الحالتين، مما يبرز قابلية تعميم نتائجنا. نعتقد أن هذه الرؤى ستكون قيمة لتوسيع نماذج LLM-MT متعددة اللغات بشكل كبير التي يمكنها خدمة اللغات منخفضة الموارد بشكل فعال.