What question did this study set out to answer?

Die Studie untersucht die Implikationen einer verifizierten Identität in Bezug auf Transformer und deren Fähigkeit, Gradientenabstieg im Kontext der repräsentationstechnischen Kapazität und Skalierung durchzuführen.

June 17, 2026Open Access

Kapazität, Skalierung und Grokking durch das In-Kontext-Lernen = Gradientenabstieg-Mechanismus

Key Points

Die Studie untersucht die Implikationen einer verifizierten Identität in Bezug auf Transformer und deren Fähigkeit, Gradientenabstieg im Kontext der repräsentationstechnischen Kapazität und Skalierung durchzuführen.
Formale Verifikation unter Verwendung von Lean 4 und Python-Verifikationsskripten
Analyse des Vorwärtsdurchlaufs des Transformers im Zusammenhang mit dem ICL=GD-Mechanismus
Untersuchung verwandter Forschungsarbeiten im Rahmen des Forschungsprogramms The Latent.
Identität verifiziert, dass der Vorwärtsdurchlauf eines Transformers einen Gradientenabstiegsschritt für ein implizites Least-Squares-Ziel umsetzt.
Einblicke in die repräsentationstechnische Kapazität zeigen Einschränkungen bei der Skalierung von Transformer-Modellen auf.

Abstract

Das begleitende Kernpapier stellt eine einzige Identität fest und überprüft sie maschinell: Der Vorwärtsdurchlauf eines Transformers kann einen Gradientenabstiegsschritt auf ein implizites Least-Squares-Ziel umsetzen (der ICL=GD-Mechanismus). Dieses Satellitenpapier fragt, was diese verifizierte Identität über die repräsentationstechnische Kapazität und Skalierung zu beweisen zwingt. Reife: Kurzfassung. Zielpublikation: Transactions on Machine Learning Research (TMLR). Enthält formale Verifikation (Lean 4 mit Python-Verifikationsskripten). Teil des Forschungsprogramms The Latent. Verwandte Arbeiten in diesem Programm: ML In Context Gradient Descent, ML Scaling Laws Latent, ML Spectral Capacity Bound, Universal.

Kapazität, Skalierung und Grokking durch das In-Kontext-Lernen = Gradientenabstieg-Mechanismus

Key Points

Abstract

Cite This Study

Also Consider

Also Consider