Comprendre les biais dans les systèmes de recommandation basés sur ChatGPT : équité des fournisseurs, stabilité temporelle et recenté

Cet article explore les biais inhérents aux systèmes de recommandation basés sur ChatGPT, en se concentrant sur l'équité des fournisseurs (équité du côté des articles). Grâce à des expériences approfondies et à plus d'un millier d'appels API, nous examinons l'impact des stratégies de conception de prompts — y compris la structure, le rôle du système et l'intention — sur des métriques d'évaluation telles que l'équité des fournisseurs, la couverture du catalogue, la stabilité temporelle et la recenté. La première expérience examine ces stratégies dans les recommandations classiques top-K, tandis que la seconde évalue l'apprentissage en contexte séquentiel (ICL). Dans la première expérience, nous évaluons sept scénarios de prompts distincts sur la précision et l'équité des recommandations top-K. Les prompts orientés vers la précision, comme Simple et Chain-of-Thought (COT), surpassent les prompts de diversification qui, malgré l'amélioration de la fraîcheur temporelle, réduisent l'exactitude de jusqu'à 50%. L'intégration de l'équité dans les rôles du système, tels que « agir en tant que recommandateur équitable », s'est avérée plus efficace que les directives d'équité au sein des prompts. Nous avons également constaté que les prompts de diversification conduisaient à recommander des films plus récents, offrant une distribution de genres plus large par rapport aux modèles de filtrage collaboratif (CF) traditionnels. Le système a montré une grande cohérence à travers plusieurs exécutions. La seconde expérience explore l'ICL séquentiel, en comparant des scénarios d'apprentissage zéro-shot et few-shot. Les résultats indiquent que l'inclusion d'informations démographiques utilisateur dans les prompts affecte les biais et les stéréotypes du modèle. Cependant, l'ICL n'a pas systématiquement amélioré l'équité des articles et la couverture du catalogue par rapport à l'apprentissage zéro-shot. L'apprentissage zéro-shot a atteint un NDCG et une couverture plus élevés, tandis que l'ICL-2 a montré de légères améliorations du taux de succès (HR) lorsque le contexte de groupe d'âge était inclus. Dans l'ensemble, notre étude fournit des informations sur les biais des RecLLMs, en particulier en ce qui concerne l'équité des fournisseurs et la couverture du catalogue. En examinant la conception des prompts, les stratégies d'apprentissage et les rôles du système, nous soulignons le potentiel et les défis de l'intégration des grands modèles de langage dans les systèmes de recommandation, ouvrant la voie à de futures recherches. D'autres détails sont disponibles sur https://github.com/yasdel/BenchmarkRecLLMFairness.