Klustern und Ausrichtung: Verständnis der Trainingsdynamik bei modularer Addition

Neuere Studien haben gezeigt, dass neuronale Netzwerke für viele einfache Probleme interpretierbare Algorithmen lernen. Es ist jedoch wenig darüber bekannt, wie diese Algorithmen während des Trainings entstehen. In diesem Artikel untersuchen wir die Trainingsdynamik eines vereinfachten Transformers mit 2-dimensionalen Einbettungen im Problem der modularen Addition. Wir beobachten, dass sich Einbettungsvektoren dazu neigen, in zwei Arten von Strukturen zu organisieren: Gitter und Kreise. Wir untersuchen diese Strukturen und erklären ihr Auftreten als Ergebnis von zwei einfachen Tendenzen, die Paare von Einbettungen aufweisen: Klustern und Ausrichten. Wir schlagen explizite Formeln für diese Tendenzen als Wechselwirkungen zwischen verschiedenen Paaren von Einbettungen vor. Um zu zeigen, dass unsere Formeln das Entstehen dieser Strukturen vollständig erklären können, konstruieren wir eine äquivalente Partikelsimulation, in der wir feststellen, dass identische Strukturen entstehen. Wir nutzen unsere Erkenntnisse, um die Rolle des Gewichtzerfalls zu diskutieren und einen neuen Mechanismus offenzulegen, der Regularisierung und Trainingsdynamik verbindet. Wir veröffentlichen auch eine interaktive Demo, um unsere Ergebnisse zu unterstützen: https://modular-addition.vercel.app/.