الاستخلاص المعرفي الخاص بشكل تفاضلي عبر توليد نصوص صناعية

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً رائدًا في العديد من المهام اللاحقة المختلفة. ومع ذلك، فإن الحاجة المتزايدة لخصوصية البيانات تتطلب من نماذج LLMs التدريب مع الخصوصية التفاضلية (DP) على بيانات خاصة. في الوقت نفسه، من الضروري أيضًا ضغط نماذج LLMs لتشغيلها في الحياة الواقعية على الأجهزة ذات الموارد المحدودة أو التطبيقات الحساسة من حيث زمن الانتظار. تتطلب الخصوصية التفاضلية وضغط النموذج عمومًا التضحية بفقدان الفائدة لتحقيق أهدافهم. علاوة على ذلك، فإن تحقيق كلا الأمرين في نفس الوقت يمكن أن يؤدي إلى مزيد من فقدان الفائدة. ولتحقيق ذلك، نقترح خوارزمية جديدة للاستخلاص المعرفي الخاص بشكل تفاضلي تستفيد من البيانات الاصطناعية الناتجة عن نموذج LLM الخاص بشكل تفاضلي. يتم نقل معرفة نموذج المعلم إلى الطالب بطريقتين: إحداهما من البيانات الاصطناعية نفسها، التسميات الصعبة، والأخرى من خلال توزيع مخرجات نموذج المعلم التي تم تقييمها على البيانات الاصطناعية، التسميات الناعمة. علاوة على ذلك، إذا كان لدى المعلم والطالب بنية معمارية مشابهة، يمكننا استخراج المعرفة بشكل إضافي من خلال استغلال التمثيلات المخفية. تظهر نتائجنا أن إطار عملنا يحسن بشكل كبير الفائدة مقارنة بالمعايير الحالية مع معلمات خصوصية قوية، = 2، مما يؤكد أننا نستطيع ضغط نماذج LLMs التلقائية مع الحفاظ على خصوصية بيانات التدريب.