Key points are not available for this paper at this time.
التعلم الفيدرالي هو أسلوب لتدريب النماذج على بيانات خاصة موزعة على أجهزة متعددة. للحفاظ على خصوصية بيانات الجهاز، يتم تدريب النموذج العالمي عن طريق الاتصال بالمعلمات والتحديثات فقط، مما يطرح تحديات في قابلية التوسع للنماذج الكبيرة. لتحقيق هذه الغاية، نقترح خوارزمية تعلم فيدرالي جديدة تتعلم بشكل مشترك التمثيلات المحلية المدمجة على كل جهاز والتمثيل العالمي عبر جميع الأجهزة. ونتيجة لذلك، يمكن أن يكون النموذج العالمي أصغر لأنه يعمل على التمثيلات المحلية، مما يقلل من عدد المعاملات. نظريًا، نقدم تحليل تعميم يظهر أن التركيبة بين النماذج المحلية والعالمية تقلل من التباين في البيانات وكذلك التباين عبر توزيعات الأجهزة. تجريبيًا، نوضح أن النماذج المحلية تمكن التدريب الفعال من حيث الاتصال مع الاحتفاظ. كما نقوم بتقييمها على مهمة التنبؤ بالمزاج الشخصي من بيانات الهاتف المحمول العالمية حيث الخصوصية هي المفتاح. أخيرًا، تتعامل النماذج المحلية مع البيانات من أجهزة جديدة، وتتعلم تمثيلات عادلة تحمي السمات مثل العرق والعمر والجنس.
درس Liang وآخرون (Mon ،) هذا السؤال.