التقطير التعاوني للمعرفة

تركز الأبحاث الحالية في مجال تقطير المعرفة أساسًا على تسهيل شبكات الطلاب في اكتساب المعرفة الكاملة التي تنقلها شبكات المعلمين. ومع ذلك، أظهرت الدراسات الحديثة أن الشبكات الجيدة ليست مناسبة لكي تكون معلمين، وهناك علاقة إيجابية بين أداء التقطير ودرجة عدم اليقين في توقعات المعلم. لمعالجة هذه النتيجة، تحلل هذه الورقة بشكل معمق أسباب تأثير شبكة المعلم على أداء التقطير، وتعزز مشاركة شبكة الطالب في عملية تقطير المعرفة، وتساعد شبكة المعلم في تقطير المعرفة المناسبة لتعلم الطلاب. بناءً على هذا الأساس، يُقدم نهج جديد يُعرف باسم التقطير التعاوني للمعرفة (CKD)، المستند إلى مفهوم "تفصيل التعليم للفرد". مقارنة بالخط الأساسي، يحسن هذا الأسلوب دقة الطلاب بمتوسط 3.42% في تجارب CIFAR-100، ومتوسط 1.71% مقارنة بطريقة التقطير الكلاسيكية (KD). وأظهرت تجارب ImageNet تحسنًا ملحوظًا بنسبة 2.04% في دقة Top-1 للطلاب.