Mesurer l'Avantage de Groupe : Une Étude Comparative des Métriques de Classement Équitable

Les métriques d'évaluation du classement jouent un rôle important dans la récupération d'information, fournissant des objectifs d'optimisation durant le développement et des moyens d'évaluation de la performance déployée. Récemment, l'équité des classements a été reconnue comme cruciale, surtout à mesure que les systèmes automatisés sont de plus en plus utilisés pour des décisions d'impact élevé. Bien que de nombreuses métriques d'équité aient été proposées, une analyse comparative pour comprendre leurs interrelations fait défaut. Même pour les métriques fondamentales de parité statistique qui mesurent l'avantage de groupe, il reste flou si les métriques mesurent les mêmes phénomènes, ou quand une métrique peut produire des résultats différents d'une autre. Pour aborder ces questions ouvertes, nous formulons un cadre conceptuel pour une comparaison analytique des métriques. Nous prouvons que sous des hypothèses raisonnables, les métriques populaires dans la littérature présentent le même comportement et qu'optimiser pour l'une optimise pour toutes. Cependant, notre analyse montre également que les métriques varient dans le degré d'injustice mesuré, en particulier lorsque un groupe a une forte majorité. Sur la base de cette analyse, nous concevons un test statistique pratique pour identifier si les données observées sont susceptibles d'exhiber un biais de groupe prévisible. Nous fournissons un ensemble de recommandations pour les praticiens afin de guider le choix d'une métrique d'équité appropriée.