مرة واحدة للجميع: تدريب شبكة واحدة وتخصيصها للنشر الفعال

نواجه مشكلة التنبؤ الفعال عبر قيود الموارد للعديد من الأجهزة، وخاصة على الأجهزة الطرفية. الأساليب التقليدية تصمم يدويًا أو تستخدم البحث عن بنية الشبكة العصبية (NAS) للعثور على شبكة عصبية وتدريبها من الصفر لكل حالة، وهو أمر مكلف (يسبب انبعاث CO₂ يعادل 5 سيارات) وبالتالي غير قابل للتوسع. نقترح في هذا العمل تدريب شبكة تُدعى مرة واحدة للجميع (OFA) تدعم إعدادات بنيوية متنوعة عن طريق فصل البحث، لتقليل التكلفة. يمكننا بسرعة الحصول على شبكة مخصصة عن طريق الاختيار من شبكة OFA دون تدريب إضافي. لتدريب الشبكات OFA، نقترح أيضًا طريقة مبتكرة للتقليص التدريجي، وهي طريقة تقليم مُعممة تقلل من حجم النموذج عبر أبعاد عديدة أكثر من التقطيع (العمق، العرض، حجم النواة، والدقة). إنها تحقق عددًا كبيرًا بشكل مدهش من الشبكات الفرعية (> 10^19) التي يمكن أن تدعم منصات الأجهزة المختلفة وقيود التأخير مع الحفاظ على مستوى الدقة كما في التدريب بشكل مستقل. على الأجهزة الطرفية المتنوعة، تتفوق OFA على أبرز الأساليب الحالية (SOTA) في NAS (حتى تحسين بنسبة 4.0% في دقة top-1 مقارنة بـ MobileNetV3، أو نفس الدقة ولكن أسرع 1.5x من MobileNetV3، أسرع بـ 2.6x من EfficientNet من حيث التأخير المقاس) مما يقلل بشكل كبير في ساعات GPU وانبعاث CO₂. في هذا السياق، تحقق OFA دقة جديدة SOTA تبلغ 80.0% في دقة ImageNet top-1 تحت الإعداد (<600M MACs). تعتبر OFA الحل الفائز في تحدي الرؤية الحاسوبية الثالث (LPCVC)، مسار تصنيف DSP والمسار الرابع، كل من مسار التصنيف ومسار الكشف. تم إصدار الكود و50 نموذجًا مدربًا مسبقًا (للعديد من الأجهزة والعديد من قيود التأخير) على العنوان: //github.com/mit-han-lab/once-for-all.