La langue dans une bouteille : modèles de goulet d'étranglement guidés par le langage pour la classification d'images interprétable

Les modèles de goulet d'étranglement conceptuel (CBM) sont des modèles intrinsèquement interprétables qui décomposent les décisions du modèle en concepts lisibles par l'homme. Ils permettent aux gens de comprendre facilement pourquoi un modèle échoue, une fonctionnalité critique pour les applications à enjeux élevés. Les CBM nécessitent des concepts spécifiés manuellement et souvent sous-performent par rapport à leurs homologues en boîte noire, empêchant leur adoption généralisée. Nous abordons ces lacunes et sommes les premiers à montrer comment construire des CBM performants sans spécification manuelle, tout en conservant une précision similaire à celle des modèles en boîte noire. Notre approche, goulets d'étranglement guidés par le langage (LaBo), utilise un modèle de langage, GPT-3, pour définir un large espace de goulets d'étranglement possibles. Étant donné un domaine problématique, LaBo utilise GPT-3 pour produire des phrases factuelles sur les catégories afin de former des concepts candidats. LaBo recherche efficacement les goulets d'étranglement possibles grâce à une nouvelle utilité sous-modulaire qui favorise la sélection d'informations discriminantes et diverses. En fin de compte, les concepts sentenciels de GPT-3 peuvent être alignés aux images en utilisant CLIP, afin de former une couche de goulet d'étranglement. Des expériences montrent que LaBo est un préjugé hautement efficace pour les concepts importants pour la reconnaissance visuelle. Dans l'évaluation avec 11 ensembles de données divers, les goulets d'étranglement LaBo excellent dans la classification à quelques exemples : ils sont 11,7 % plus précis que les sondes linéaires en boîte noire à 1 exemple et comparables avec plus de données. Dans l'ensemble, LaBo démontre que les modèles intrinsèquement interprétables peuvent être largement appliqués avec une performance similaire, voire meilleure, que les approches en boîte noire. 1 1 Le code et les données sont disponibles à https://github.com/YueYANG1996/LaBo.