Expliquer la similarité de texte dans les modèles de transformateurs

Alors que les transformateurs sont devenus des modèles de pointe pour les tâches de traitement du langage naturel (NLP), le besoin de comprendre et d'expliquer leurs prédictions est de plus en plus évident. Particulièrement dans les applications non supervisées, telles que les tâches de récupération d'information, des modèles de similarité construits sur des représentations de modèles de base ont été largement appliqués. Cependant, leurs mécanismes de prédiction internes sont restés pour la plupart opaques. Les récents progrès en IA explicable ont rendu possible d'atténuer ces limitations en s'appuyant sur des explications améliorées pour les transformateurs via la propagation de pertinence par couche (LRP). En utilisant BiLRP, une extension développée pour le calcul d'explications de second ordre dans les modèles de similarité bilinéaire, nous examinons quelles interactions de caractéristiques conduisent à la similarité dans les modèles NLP. Nous validons les explications résultantes et démontrons leur utilité dans trois cas d'utilisation au niveau du corpus, en analysant les interactions grammaticales, la sémantique multilingue et la récupération de texte biomédical. Nos résultats contribuent à une compréhension plus profonde des différentes tâches et modèles de similarité sémantique, soulignant comment les nouvelles méthodes d'IA explicable permettent des analyses approfondies et des insights au niveau du corpus.