تتبع طرق خلط بيانات التدريب الحالية لنماذج اللغة الكبيرة (LLMs) عادةً منهجية قائمة على المجال، وهي عملية من أعلى إلى أسفل تحدد أولاً أوزان المجالات ثم تقوم بأخذ عينات متساوية من البيانات عبر كل مجال. ومع ذلك، تتجاهل هذه المنهجيات التداخلات والتشابهات الكبيرة بين المجالات، مما يؤدي إلى عدم السيطرة على التنوع العالمي لمجموعة بيانات التدريب المُنشأة. علاوة على ذلك، تتجاهل أخذ العينات المنتظمة داخل المجالات الميزات الدقيقة المحددة للعينة، مما قد يؤدي إلى توزيع بيانات غير مثالي. لمعالجة هذه النقائص، نقترح نهج جديد لخلط البيانات عينة بعينة قائم على نمط من أسفل إلى أعلى. تقوم هذه الطريقة بأخذ عينات عبر المجالات بشكل عالمي من خلال تقييم منهجي لجودة وتنوع كل عينة، مما يحدد ديناميكياً توزيع المجال الأمثل. تظهر التجارب الشاملة عبر العديد من المهام اللاحقة وتقييمات التعقيد أن SampleMix يتجاوز الطرق الحالية القائمة على المجال. في حين أن SampleMix يتطلب من 1.4x إلى 2.1x من خطوات التدريب لتحقيق أداء القيم الأساسية، مما يسلط الضوء على الإمكانيات الكبيرة لـ SampleMix لتحسين بيانات التدريب.
درس Xi وآخرون (Mon,) هذا السؤال.