Hochdimensionale Analyse der einlagigen Aufmerksamkeit für die Klassifikation seltener Token

Wann und wie kann ein Aufmerksamkeitsmechanismus lernen, selektiv informative Tokens zu beachten, wodurch die Erkennung schwacher, seltener und spärlich lokalisierter Merkmale ermöglicht wird? Wir behandeln diese Fragen theoretisch in einem Modell zur Klassifikation seltener Tokens, in dem positive Proben einen schwachen Signalvektor in einer zufällig gewählten Teilmenge von Tokens einbetten, während negative Proben reines Rauschen sind. Im Grenzfall langer Sequenzen zeigen wir, dass ein einfacher einlagiger Aufmerksamkeitsklassifikator im Prinzip einen verschwindenden Testfehler erreichen kann, wenn die Signalstärke nur logarithmisch in der Sequenzlänge L wächst, während lineare Klassifikatoren L-Skalierung erfordern. Im Übergang von repräsentativer Leistung zu Lernbarkeit untersuchen wir das Training bei endlichem L in einem hochdimensionalen Bereich, in dem Probenumfang und Einbettungsdimension proportional wachsen. Wir beweisen, dass schon zwei Gradient-Updates ausreichen, damit der Abfragegewichtungsvektor des Aufmerksamkeitsklassifikators eine nicht-triviale Ausrichtung mit dem verborgenen Signal erlangt, was eine Aufmerksamkeitskarte induziert, die informative Tokens selektiv verstärkt. Wir leiten ferner einen genauen asymptotischen Ausdruck für den Testfehler und den Trainingsverlust des trainierten auf Aufmerksamkeit basierenden Klassifikators ab und quantifizieren seine Kapazität - die größte Datensatzgröße, die typischerweise perfekt trennbar ist - und erklären damit den Vorteil der adaptiven Token-Auswahl gegenüber nicht-adaptiven linearen Baselines.