حول تغاير معدل التعلم التكيفي وما بعده

تحقق تقنية التدفئة لمعدل التعلم نجاحًا رائعًا في استقرار التدريب، وتسريع التقارب، وتحسين التعميم لأساليب تحسين العشوائية التكيفية مثل RMSprop و Adam. هنا، ندرس آليتها بتفصيل. من خلال متابعة النظرية وراء التدفئة، نتعرف على مشكلة في معدل التعلم التكيفية (أي أنه يوجد تباين كبير إشكالي في المرحلة المبكرة)، ونقترح أن التدفئة تعمل كتقنية لتقليل التباين، ونقدم أدلة تجريبية ونظرية للتحقق من فرضيتنا. نقترح أيضًا RAdam، وهو نوع جديد من Adam، من خلال إدخال مصطلح لتصحيح تباين معدل التعلم التكيفي. تؤكد النتائج التجريبية الواسعة في تصنيف الصور، ونمذجة اللغة، والترجمة الآلية العصبية على حدسنا وتظهر فعالية وقوة طريقتنا المقترحة. جميع التطبيقات متاحة على: https://github.com/LiyuanLucasLiu/RAdam.