خوادم المعلمات الموزعة المدركة للتنوع

ندرس التعلم الآلي الموزع في بيئات غير متجانسة في هذا العمل. نبدأ بإجراء دراسة منهجية للأنظمة الحالية التي تستخدم الانحدار العشوائي الموزع؛ نجد أنه، رغم أن هذه الأنظمة تعمل بشكل جيد في البيئات المتجانسة، إلا أنها يمكن أن تتعرض لتدهور في الأداء، أحيانًا يصل إلى 10 أضعاف، في البيئات غير المتجانسة حيث تكون التأخيرات شائعة لأن بروتوكولات المزامنة الخاصة بها لا تناسب الإعداد غير المتجانس. مساهمتنا الأولى هي خوارزمية مدركة للتنوع تستخدم جدولة ثابتة لمعدل التعلم للتحديثات قبل إضافتها إلى المعاملات العالمية. وهذا يسمح لنا بتقليل تأثير التأخيرات على التقارب القوي. كتحسين إضافي، تنص مساهمتنا الثانية على جدولة أكثر تعقيدًا لمعدل التعلم تأخذ بعين الاعتبار المعلومات المتأخرة لكل تحديث. نثبت نظريًا التقارب الصالح لكلا الطريقتين ونقوم بتنفيذ نظام نموذجي في مجموعة الإنتاج لشريكنا الصناعي Tencent Inc. نحن نتحقق من أداء هذا النموذج باستخدام مجموعة من أحمال العمل في التعلم الآلي. النموذج لدينا أسرع بمعدل 2-12 ضعف من الأنظمة الحديثة الأخرى، مثل Spark و Petuum و TensorFlow؛ كما أن الخوارزمية المقترحة لدينا تحتاج إلى 6 أضعاف أقل من التكرارات للتقارب.