Von Parametern zu Mannigfaltigkeiten: Die Grenzen des Skalierens und die Geometrie des Lernens verstehen

Beschreibung Diese Arbeit schlägt eine Veränderung unseres Verständnisses moderner Deep-Learning-Systeme vor. Statt neuronale Netzwerke als Sammlungen von Millionen oder Milliarden von Parametern zu betrachten, argumentiert dieses Papier, dass das wahre Objekt des Lernens die Geometrie und Topologie der Darstellungs-Mannigfaltigkeit ist – der verborgene Raum, in dem Aktivierungen leben, interagieren und sich während des Trainings reorganisieren. Das Papier führt einen geometrischen Rahmen ein, in dem das Training als kontinuierliche Deformation dieser Mannigfaltigkeit interpretiert wird. Jedes Gradient-Update verändert subtil lokale Distanzen, formt die Krümmung um und verändert die Verbindungsstruktur des konzeptionellen Raums. Aus dieser Perspektive erscheinen viele Verhaltensweisen, die zuvor als nicht zusammenhängende Phänomene behandelt wurden, als natürliche geometrische Konsequenzen. Halluzination erscheint als geodätische Instabilität. Katastrophales Vergessen wird zu einem topologischen Kollaps. Grokking entspricht einer plötzlichen Rekonfiguration der globalen Struktur. Abstraktion entsteht als Verdichtung von Clustern und das Öffnen neuer Abkürzungen. Ein wichtiger Beitrag dieser Arbeit besteht darin, dass sie eine praktische Methode zur Analyse dieser geometrischen Eigenschaften bietet, ohne einen speziellen Trainingspipeline zu benötigen. Mit nur standardmäßigen Werkzeugen – Jacobian-Sensitivität, k-nächste-Nachbarn geodätische Schätzung, Diffusionsdistanzen und topologische Datenanalyse – können Forscher die Mannigfaltigkeitsstruktur bestehender vortrainierter Modelle untersuchen. Dies macht den Rahmen für jeden zugänglich, selbst ohne groß angelegte Rechenressourcen. Die Studie konfrontiert auch eine der drängendsten Fragen in der KI heute: Warum beginnen Skalierungsgesetze, abnehmende Erträge und unvorhersehbares Verhalten zu zeigen. Das hier vorgebrachte Argument ist, dass die Anzahl der Parameter allein nicht die Stabilität oder Fähigkeit fortschrittlicher Modelle erklären kann. Geometrie wird zum Engpass. Die Fähigkeit eines Modells zu generalisieren, ausgerichtet zu bleiben oder pathologisches Verhalten zu vermeiden, hängt davon ab, wie gut seine interne Mannigfaltigkeit kultiviert wird, nicht nur davon, wie groß sie ist. Insgesamt schlägt diese Arbeit ein neues Paradigma vor: Lernen als Mannigfaltigkeitskultivierung. Es vereint Erkenntnisse aus dem Repräsentationslernen, der Informationsgeometrie, der Topologie und dem emergenten Verhalten zu einem kohärenten Bild, wie intelligente Systeme wachsen. Die resultierende Theorie bietet sowohl eine Erklärung für aktuelle Einschränkungen als auch einen Fahrplan für die nächste Generation der KI-Forschung.