CAuSE : Décoder des classificateurs multimodaux à l'aide d'explications en langage naturel fidèle

Résumé Les classificateurs multimodaux fonctionnent comme des modèles de boîte noire opaques. Bien que plusieurs techniques existent pour interpréter leurs prédictions, très peu d'entre elles sont aussi intuitives et accessibles que les explications en langage naturel (ELNs). Pour instaurer la confiance, ces explications doivent fidèlement capturer le comportement décisionnel interne du classificateur, une propriété connue sous le nom de fidélité. Dans cet article, nous proposons CAuSE (Causal Abstraction under Simulated Explanations), un nouvel ensemble d'outils pour générer des ELNs fidèles pour tout classificateur multimodal pré-entraîné. Nous démontrons que CAuSE se généralise à travers divers ensembles de données et modèles grâce à une évaluation empirique extensive. Théoriquement, nous montrons que CAuSE, entraîné par intervention d'interchange, forme une abstraction causale du classificateur sous-jacent. Nous validons davantage cela grâce à une métrique redéfinie pour mesurer la fidélité causale dans des contextes multimodaux. CAuSE dépasse d'autres méthodes sur cette métrique, avec une analyse qualitative renforçant ses avantages. Nous effectuons également une analyse d'erreurs détaillée pour identifier les cas d'échec de CAuSE.