Key points are not available for this paper at this time.
لقد عززت تقنيات ضبط التعليم لنماذج اللغة الكبيرة باستخدام مجموعة متنوعة من أزواج التعليمات والاستجابات قدرتها على فهم التعليمات واتباعها. يعتمد ضبط التعليم الحالي بشكل أساسي على نماذج المعلمين أو التدخل البشري لتوليد وتحسين التعليمات والاستجابات، مما يعتبر مكلفًا وغير مستدام ويفتقر إلى التنوع. في هذه الورقة، نقدم ضبط التعليم الموزايكي (Mosaic-IT)، وهي طريقة خالية من الإنسان/النموذج التي يمكن أن تنشئ زيادة ثرية ومتنوعة بشكل فعال من بيانات ضبط التعليم الحالية لتعزيز النموذج اللغوي المدرب بدقة. يقوم Mosaic-IT بدمج بيانات تعليم متعددة بشكل عشوائي في واحدة وتدريب النموذج لإنتاج الاستجابات المقابلة مع تعليمات أعلى مستوى محددة مسبقًا لتعزيز مهاراته في اتباع التعليمات متعددة الخطوات واتباع الشكل. تظهر تقييماتنا الشاملة أداءً متفوقًا وكفاءة تدريب لـ Mosaic-IT، حيث يحقق تحسينات متسقة في الأداء عبر معايير مختلفة وتخفيض بنسبة 80% في تكاليف التدريب مقارنةً بضبط التعليم الأصلي. تتوفر الشفرات والبيانات لدينا على https://github.com/tianyi-lab/Mosaic-IT.
درس لي وآخرون (الأربعاء) هذا السؤال.