BBQ : Un benchmark de biais construit à la main pour le question-réponse

Il est bien documenté que les modèles de TAL apprennent des biais sociaux, mais peu de travaux ont été réalisés sur la manière dont ces biais apparaissent dans les sorties des modèles pour des tâches appliquées telles que le question-réponse (QA). Nous présentons le Bias Benchmark for QA (BBQ), un ensemble de données de séries de questions créées par les auteurs qui mettent en lumière des biais sociaux avérés contre des personnes appartenant à des classes protégées selon neuf dimensions sociales pertinentes pour les contextes anglophones américains. Notre tâche évalue les réponses des modèles à deux niveaux : (i) donné un contexte peu informatif, nous testons la mesure dans laquelle les réponses reflètent les biais sociaux, et (ii) donné un contexte suffisamment informatif, nous testons si les biais du modèle l'emportent sur un choix de réponse correct. Nous constatons que les modèles s'appuient souvent sur des stéréotypes lorsque le contexte est peu informatif, ce qui signifie que les sorties du modèle reproduisent systématiquement des biais nuisibles dans ce cadre. Bien que les modèles soient plus précis lorsque le contexte fournit une réponse informative, ils s'appuient toujours sur des stéréotypes et présentent en moyenne une précision supérieure jusqu'à 3,4 points de pourcentage lorsque la bonne réponse correspond à un biais social plutôt que lorsqu'elle entre en conflit, cette différence s'élargissant à plus de 5 points sur des exemples ciblant le genre pour la plupart des modèles testés.