استكشاف الارتباط بين القنوات من أجل تقطير المعرفة مع الحفاظ على التنوع

ظهر تقطير المعرفة كوسيلة واعدة جدًا في نقل التمثيلات المتعلمة من النموذج الأكبر (المعلم) إلى النموذج الأصغر (الطالب). على الرغم من العديد من الجهود، تجاهلت الطرق السابقة الدور المهم للاحتفاظ بالارتباط بين قنوات الميزات، مما أدى إلى عدم القدرة على التقاط التوزيع الداخلي لمساحة الميزات وخصائص التنوع الكافية للميزات في شبكة المعلم. لحل هذه المشكلة، نقترح الارتباط بين القنوات لتقطير المعرفة (ICKD) الجديد، والذي يمكن من خلاله أن يتماشى تنوع وخصوصية مساحة الميزات لشبكة الطالب مع تلك الخاصة بشبكة المعلم. يُفسر الارتباط بين هاتين القناتين على أنه تنوع إذا لم تكن مرتبطة ببعضها البعض، وإلا فإنه يُعتبر مشابهة. بعد ذلك، يُطلب من الطالب تقليد الارتباط داخل مساحة تمثيله الخاصة. بالإضافة إلى ذلك، نقدم الارتباط بين القنوات على مستوى الشبكة، مما يجعلها قادرة على مهام التنبؤ الكثيف. تُظهر تجارب موسعة على مهمتين بصريتين، بما في ذلك تصنيف ImageNet وتجزئة Pascal VOC، تفوق ICKD لدينا، الذي يتفوق باستمرار على العديد من الطرق الحالية، مما يرفع من مستوى الفنون في مجالات تقطير المعرفة. حسب علمنا، نحن أول طريقة تستند إلى تقطير المعرفة تزيد دقة ResNet18 إلى أكثر من 72% في تصنيف ImageNet. الرمز متاح على: https://github.com/ADLab-AutoDrive/ICKD.