Croyez-le ou non

La vérification des faits, la tâche d'évaluer la véracité des affirmations, est un problème important, opportun et difficile. Bien que de nombreux systèmes de vérification des faits automatisés aient été récemment proposés, le côté humain du partenariat a été largement négligé : comment les gens pourraient-ils comprendre, interagir avec et établir la confiance avec un système de vérification des faits basé sur l'IA ? Un tel système aide-t-il réellement les gens à évaluer mieux la véracité des affirmations ? Dans cet article, nous présentons la conception et l'évaluation d'une approche à initiative mixte pour la vérification des faits, associant la connaissance et l'expérience humaines à l'efficacité et à l'évolutivité de la récupération d'informations automatisée et de l'apprentissage automatique. Dans une étude utilisateur où les participants ont utilisé notre système pour aider leur propre évaluation des affirmations, nos résultats suggèrent que les individus ont tendance à faire confiance au système : l'exactitude des participants dans l'évaluation des affirmations s'est améliorée lorsqu'ils ont été exposés aux prédictions correctes du modèle. Cependant, cette confiance va peut-être trop loin : lorsque le modèle avait tort, l'exposition à ses prédictions dégradait souvent l'exactitude humaine. Les participants ayant eu la possibilité d'interagir avec ces prédictions incorrectes étaient souvent capables d'améliorer leur propre performance. Cela suggère que des modèles transparents sont essentiels pour faciliter une interaction humaine efficace avec des modèles d'IA faillibles.