Key points are not available for this paper at this time.
يمكن لنماذج اللغة الكبيرة حفظ وتكرار بيانات تدريبها، مما يسبب مخاطر في الخصوصية وحقوق النشر. لتقليل الحفظ، نقدم تعديلًا دقيقًا لهدف تدريب العنصر التالي نسميه خسارة السمكة الذهبية. خلال التدريب، يتم استبعاد مجموعة مختارة عشوائيًا من الرموز من حساب الخسارة. هذه الرموز المستبعدة لا يتم حفظها بواسطة النموذج، مما يمنع إعادة إنتاج كاملة لسلسلة من الرموز من مجموعة التدريب. نجري تجارب واسعة لتدريب نماذج Llama-2 بحجم مليار، سواء كانت مسبقة التدريب أو مدربة من الصفر، ونظهر تخفيضات كبيرة في الحفظ القابل للاستخراج مع تأثير بسيط أو معدوم على المؤشرات اللاحقة.
درس هانس وآخرون (الجمعة) هذا السؤال.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: