Key points are not available for this paper at this time.
لقد تقدم النموذج اللغوي الكبير (LLMs) بشكل كبير في معالجة اللغة الطبيعية، ولكن تقدمهم لم يتساوِ بعد بين اللغات. في حين يتم تدريب معظم النماذج اللغوية الكبيرة في لغات غنية مثل الإنجليزية، غالبًا ما تكون النماذج متعددة اللغات أقل أداءً من النماذج أحادية اللغة. بالإضافة إلى ذلك، فإن جوانب بنيتها متعددة اللغات أحيانًا ما تقيد المنتجات الثانوية التي تنتجها، مثل المتطلبات الحاسوبية وأنظمة الترخيص. في هذه الدراسة، نوثق تطوير نماذج مفتوحة الأساس مصممة للاستخدام في البيئات المنخفضة الموارد، وقيودها، وفوائدها. هذه هي نموذج TeenyTinyLlama: نموذجين مدمجين لتوليد النصوص باللغة البرتغالية البرازيلية. نحن نقدمها بموجب ترخيص Apache 2.0 السخي على GitHub وHugging Face للاستخدام المجتمعي والتطوير الإضافي.
درس كوريا وآخرون (الجمعة) هذا السؤال.