AdaGossip: حجم خطوة التوافق التكيفي لتعلم عميق لامركزي مع ضغط الاتصال

التعلم اللامركزي هو أمر حاسم في دعم التعلم على الأجهزة على مجموعات بيانات موزعة كبيرة، مما يلغي الحاجة إلى خادم مركزي. ومع ذلك، يظل عبء الاتصال عقبة رئيسية أمام تحقيق مثل هذه الإعدادات اللامركزية في الممارسة العملية. لمعالجة هذه المسألة، تم اقتراح العديد من الخوارزميات للتدريب اللامركزي مع ضغط الاتصال في الأدبيات. تقدم معظم هذه الخوارزميات وسيطًا إضافيًا يسمى حجم خطوة التوافق، الذي يتم ضبطه بناءً على نسبة الضغط في بداية التدريب. في هذا العمل، نقترح AdaGossip، وهي تقنية جديدة تعدل بشكل تكيفي حجم خطوة التوافق بناءً على اختلافات النموذج المضغوط بين الوكلاء المجاورين. نقدم فعالية الطريقة المقترحة من خلال مجموعة شاملة من التجارب على مجموعة متنوعة من مجموعات بيانات رؤية الكمبيوتر (CIFAR-10، CIFAR-100، Fashion MNIST، Imagenette، وImageNet)، وهياكل النماذج، وتوبولوجيا الشبكات. تظهر تجاربنا أن الطريقة المقترحة تحقق أداءً أفضل (تحسين يتراوح بين 0-2\% في دقة الاختبار) مقارنةً بأحدث الطرق الحالية للتعلم اللامركزي مع ضغط الاتصال.