Key points are not available for this paper at this time.
La recherche en interprétabilité mécaniste cherche à expliquer les comportements des modèles d'apprentissage automatique en termes de leurs composants internes. Cependant, la plupart des travaux précédents se concentrent soit sur des comportements simples dans de petits modèles, soit décrivent des comportements complexes dans de plus grands modèles de manière générale. Dans ce travail, nous comblons cette lacune en présentant une explication sur la manière dont GPT-2 small réalise une tâche de langue naturelle appelée identification d'objet indirect (IOI). Notre explication englobe 26 têtes d'attention regroupées en 7 classes principales, que nous avons découvertes en utilisant une combinaison d'approches d'interprétabilité reposant sur des interventions causales. À notre connaissance, cette enquête est la plus grande tentative de bout en bout de reverse-engineering d'un comportement naturel "dans la nature" dans un modèle de langage. Nous évaluons la fiabilité de notre explication en utilisant trois critères quantitatifs - fidélité, complétude et minimalité. Bien que ces critères soutiennent notre explication, ils soulignent également les lacunes restantes dans notre compréhension. Notre travail fournit des preuves qu'une compréhension mécaniste des grands modèles d'apprentissage automatique est réalisable, ouvrant des opportunités pour étendre notre compréhension à la fois à de plus grands modèles et à des tâches plus complexes.
Wang et al. (Tue,) ont étudié cette question.