Visualisierung von Aufmerksamkeit in transformerbasierten Sprachrepräsentationsmodellen

Wir präsentieren ein Open-Source-Tool zur Visualisierung der Multi-Head-Selbstaufmerksamkeit in transformerbasierten Sprachrepräsentationsmodellen. Das Tool erweitert frühere Arbeiten, indem es die Aufmerksamkeit auf drei Granularitätsstufen visualisiert: die Stufe der Aufmerksamkeitsköpfe, die Modellstufe und die Neuronstufe. Wir beschreiben, wie jede dieser Ansichten zur Interpretation des Modells beitragen kann, und demonstrieren das Tool am BERT-Modell und dem OpenAI GPT-2-Modell. Außerdem präsentieren wir drei Anwendungsfälle zur Analyse von GPT-2: Erkennung von Modellverzerrungen, Identifizierung von sich wiederholenden Mustern und Verknüpfung von Neuronen mit dem Modellverhalten.