Key points are not available for this paper at this time.
إن ضبط النماذج المدربة مسبقًا هو بلا شك واحد من أبرز الأساليب في تعلم النقل. تركز الدراسات الحديثة على طرق أداءها متفوق على طرق الضبط القياسية، مثل ضبط المرشحات التكيفية وضبط آخر-k. يتفوق نموذج SpotTune على معظم طرق الضبط الشائعة بسبب نهجه المبتكر في الضبط التكيفي. نظرًا لوجود تناقض بين عدد المعلمات والأداء، فإن نموذج SpotTune ليس فعّالاً من حيث المعلمات. في هذه الورقة، نقترح وحدة محول شيفت شيفت يمكن أن تساعد في تقليل معلمات التدريب في نماذج التعلم العميق مع الحفاظ على الأداء العالي لنموذج SpotTune. يوفر محول شيفت شيفت بنية مرنة، مما يسمح لنا بالعثور على توازن بين عدد المعلمات والأداء. نحن ندمج الوحدة المقترحة مع الكتل المتبقية في ResNet ونقوم بإجراء عدة تجارب على نموذج SpotTune. في تحدي الـ Visual Decathlon، تحصل طريقتنا المقترحة على درجة قريبة من SpotTune وتتفوق على نموذج SpotTune في أكثر من نصف مجموعات البيانات. بشكل ملحوظ، تستخدم طريقتنا المقترحة حوالي 20% فقط من المعلمات المطلوبة عند التدريب باستخدام نهج الضبط القياسي.
درس ليو وآخرون (الأربعاء) هذا السؤال.