Apprentissage complet par classement : Un cadre unifié pour des systèmes multi-étapes

Le principe de classement par probabilité (PRP) a été considéré comme la norme fondatrice dans la conception des systèmes de récupération d'information (IR). Le principe exige que la liste des résultats retournés par un module IR soit classée par rapport aux intérêts fondamentaux des utilisateurs, afin de maximiser l'utilité des résultats. Néanmoins, nous soulignons qu'il est inapproprié d'appliquer indiscriminément le PRP à chaque étape d'un système IR contemporain. De tels systèmes contiennent plusieurs étapes (par exemple, les étapes de récupération, de pré-classement, de classement et de reclassement, telles qu'examinées dans cet article). Le biais de sélection inhérent au modèle de chaque étape influence considérablement les résultats finalement présentés aux utilisateurs. Pour traiter ce problème, nous proposons un principe de classement amélioré pour les systèmes multi-étapes, à savoir le principe de classement par probabilité généralisé (GPRP), afin de souligner à la fois le biais de sélection dans chaque étape du pipeline du système ainsi que l'intérêt sous-jacent des utilisateurs. Nous réalisons le GPRP via un cadre algorithmique unifié nommé Apprentissage complet par classement. Notre idée principale est d'estimer d'abord le biais de sélection dans les étapes suivantes, puis d'apprendre un modèle de classement qui se conforme le mieux au biais de sélection des modules en aval afin de livrer ses résultats les mieux classés à la liste finale classée dans la sortie du système. Nous avons effectué des évaluations expérimentales approfondies de notre solution Apprentissage complet par classement, en utilisant à la fois des simulations et des tests A/B en ligne sur l'une des principales plateformes de recommandation de vidéos courtes. L'algorithme s'est révélé efficace tant dans les étapes de récupération que de classement. Depuis son déploiement, l'algorithme a apporté un gain de performance constant et significatif à la plateforme.