MKTN: شبكة نقل المعرفة المتعددة المستندة إلى الخصوم من المعلمين التكميليين

الملخص: مع الطلبات المتزايدة على نماذج الشبكات العميقة الخفيفة في أجهزة الواجهة الأمامية المختلفة، جذبت ضغط الشبكة اهتمامًا متزايدًا لتقليل أحجام النماذج دون التضحية بدقة النموذج بشكل كبير. تقدم هذه الورقة شبكة نقل معرفة متعددة (MKTN) تهدف إلى إنتاج شبكة طالب مدمجة لكنها قوية من شبكتين معلمتين تكميليتين. بدلاً من تعلم ميزات متجانسة، الفكرة هي تدريب معلم واحد مسبقًا لالتقاط الميزات التوليدية ومنخفضة المستوى للصورة تحت هدف إعادة البناء، ومعلم آخر لالتقاط الميزات التمييزية والمخصصة للمهمة تحت نفس الهدف مثل شبكة الطالب. خلال عملية نقل المعرفة، يتعلم الطالب معرفة متعددة وتكميلية من الشبكتين المعلمتين تحت إشراف فقدان الخصوم المقترح وفقدان الميزات على التوالي. تشير النتائج التجريبية إلى أن خسائر التدريب المقترحة يمكن أن توجه الطالب بفعالية لتعلم المعلومات على مستوى المكاني والبكسل كما يستخلص من الشبكات المعلمية. من ناحية أخرى، تظهر دراستنا على عدد من مجموعات البيانات المستخدمة على نطاق واسع أن نقل الميزات المتعددة من المعلمين التكميليين المزودين بأنواع مختلفة من المعرفة يساعد في تعليم طالب مدمج لكنه قوي بفعالية.