يوفر التعديل الفيدرالي من خلال أساليب تحسين الرتبة صفر (ZO) نهجاً صديقاً لحماية البيانات وفعالاً من حيث التخزين لتكييف نماذج اللغة الكبيرة (LLMs) على الأجهزة ذات الموارد المحدودة. ومع ذلك، تتقارب أساليب ZO بشكل أبطأ بكثير من الأساليب القائمة على الانتشار العكسي. بينما تم تطوير عدة تعديلات على مستوى العميل للتخفيف من هذه القيود، لا يزال هناك قلة من الدراسات حول إمكانيات المحسّنات التكيفية على مستوى الخادم. في هذه الورقة، نقوم بتحليل تأثير المحسّنات التكيفية على مستوى الخادم على التعديل الفيدرالي القائم على ZO لنماذج LLMs وندرس كيف يتغير فائدتها مع زيادة حجم النموذج. نقيم أيضاً متغيرات ZO من FedAdam وFedAdamW عبر مجموعة من المهام المختلفة لمعالجة اللغة الطبيعية (NLP)، بالإضافة إلى عائلتين من النماذج، ونقارنها باستراتيجية تجمع قائمة على FedAvg. تظهر تجاربنا أن المحسّنات التكيفية على مستوى الخادم يمكن أن تقلل عدد الجولات المطلوبة للتقارب بنسبة حوالي 50% في معظم المهام، بينما تبقى جودة النموذج (F1-score، الدقة، ROUGE-L) ضمن 1-2% من خط الأساس غير التكيفي.
درس فيليب ريتغ (مون) هذا السؤال.