Distillation de classement

Nous proposons une nouvelle méthode pour entraîner des modèles de classement, tels que les systèmes de recommandation, qui sont à la fois efficaces et efficients. La distillation de connaissances (KD) a montré son succès dans la reconnaissance d'images pour atteindre à la fois efficacité et efficience. Nous proposons une technique de KD pour les problèmes de classement, appelée distillation de classement (RD). Spécifiquement, nous formons un modèle étudiant plus petit pour apprendre à classer des documents/objets à partir à la fois des données d'entraînement et de la supervision d'un modèle enseignant plus grand. Le modèle étudiant atteint une performance de classement similaire à celle du grand modèle enseignant, mais sa taille plus petite rend l'inférence en ligne plus efficace. RD est flexible car il est orthogonal aux choix des modèles de classement pour l'enseignant et l'étudiant. Nous abordons les défis de RD pour les problèmes de classement. Les expériences sur des ensembles de données publics et des modèles de recommandation à la pointe de la technologie ont montré que RD atteint ses objectifs de conception : le modèle étudiant appris avec RD a une taille inférieure à celle du modèle enseignant tout en atteignant une performance de classement similaire à celle du modèle enseignant et bien meilleure que celle du modèle étudiant appris sans RD.