إعادة النظر في متوسط الأوزان العشوائية

يعتبر متوسط أوزان الشبكة العصبية التي تم أخذ عينات منها باستخدام الانحدار العشوائي (SGD) أسلوبًا بسيطًا ولكنه فعال لمساعدة SGD في العثور على أوائل أفضل، من حيث التعميم. من منظور إحصائي، يساهم متوسط الأوزان في تقليل التباين. مؤخرًا، تم اقتراح طريقة معروفة لتقليل الأوزان العشوائية (SWA)، والتي ميزت تطبيق جدول التعلم الدوري أو الثابت العالي (CHC) لتوليد عينات الوزن من أجل متوسط الأوزان. بعد ذلك، تم إدخال رؤية جديدة حول متوسط الأوزان، والتي أفادت أن متوسط الوزن يساعد في اكتشاف الأوائل الأوسع وينتج عنه تعميم أفضل. قمنا بإجراء دراسات تجريبية شاملة تتعلق بـ SWA، شملت 12 نموذج هيكل عميق عصبي حديث و12 مجموعة بيانات مفتوحة المصدر من الصور والرسوم البيانية والنصوص كمعايير. قمنا بفك الارتباط بين مساهمات تشغيل متوسط الأوزان وجدول التعلم CHC لـ SWA، موضحين أن تشغيل متوسط الأوزان في SWA لا يزال يساهم في تقليل التباين، وأن جدول التعلم CHC ساعد في استكشاف مساحة المعلمات بشكل أوسع من SGD الأساسي، مما يمكن أن يؤدي إلى نقص في التكيف بسبب نقص ميزانية التدريب. ثم قدمنا خوارزمية تسمى SWA الدوري (PSWA) التي ضمت سلسلة من عمليات متوسط الأوزان لاستغلال هياكل مساحة المعلمات الواسعة كما تم استكشافها بواسطة جدول التعلم CHC، وأظهرنا تجريبيًا أن PSWA تفوقت بشكل ملحوظ على SGD الأساسي.