التقطير غير المتحيز والفعال والفعال من النماذج المتغايرة لأنظمة التوصية

في السنوات الأخيرة، حققت أنظمة التوصية أداءً remarkable من خلال استخدام مجموعات من النماذج المتغايرة. ومع ذلك، فإن هذا النهج مكلف بسبب الموارد وزمن الاستدلال النسبي لعدد النماذج، مما يخلق عقبة أمام الإنتاج. تهدف دراستنا إلى نقل معرفة مجموعة المعلمين المتغايرين إلى نموذج طالب خفيف الوزن باستخدام تقنيات التقطير المعرفي (KD)، مما يقلل من تكاليف الاستدلال مع الحفاظ على دقة عالية. نجد أن فعالية التقطير تتناقص عند نقل المعرفة من المعلمين المتغايرين. لمعالجة ذلك، نقترح إطار عمل جديد للتقطير المعرفي، يسمى HetComp، والذي يوجه نموذج الطالب عن طريق نقل تسلسلات من المعرفة من سهلة إلى صعبة تم إنشاؤها من مسارات المعلمين. يستخدم HetComp بناء المعرفة الديناميكي لتوفير معرفة تصنيف تدريجياً صعبة ونقل المعرفة التكيفية لنقل معلومات التصنيف الأكثر دقة تدريجياً. رغم أن HetComp يحسن الدقة، فإنه يزيد من تحيز الشعبية، مما يؤدي إلى ارتفاع كبير في الشعبية. للتخفيف من هذه المشكلة، نقدم استراتيجيتين تستفيدان من معرفة الاختلاف بين النماذج (أي، التباين) للمقارنة المتغايرة. تُظهر تجاربنا أن HetComp يعزز بشكل كبير جودة التقطير وقدرات التعميم لنموذج الطالب. علاوة على ذلك، نقدم نتائج تجريبية واسعة تدعم فعالية تقنيات إزالة التحيز المعتمدة على التباين في التخفيف من الارتفاع في الشعبية الناتج عن HetComp.