Viele anhaltende Einschränkungen von neuronalen ML-Systemen scheinen mit einem Mangel an Einschränkungen bezüglich der internen dynamischen Organisation verbunden zu sein. Bestehende Regularisierungsmethoden zielen größtenteils auf das Eingabe-Ausgabe-Verhalten ab oder setzen lokale Glattheit und Stabilität voraus. Mein Vorschlag verfolgt einen anderen Ansatz, indem er den Grad der Kopplung zwischen internen Zuständen explizit gestaltet, um robustere und kohärentere gelernte Dynamiken in rekurrenten und kontinuierlichen Modellen zu fördern. Ich führe eine induktive Voreingenommenheit ein, inspiriert von integrierter Information, aber verwurzelt in der klassischen Regelungstheorie, die interne Dynamiken bestraft, die sich leicht in schwach wechselwirkende Teilsysteme zerlegen lassen. Dies wird mit Hilfe von auf Grammian basierenden Maßen der intrinsischen Zustandekopplung umgesetzt, die durch lokale Linearisierung der System-Jacobians berechnet werden. Das Ergebnis ist ein differenzierbarer Skalar, der zu Standardtrainingszielen zu polyonomem Aufwand integriert werden kann. Der angefügte Vorschlag enthält mathematische Ableitungen, praktische Erweiterungen zu Skalierbarkeit und Stabilität, experimentelle Protokolle sowie eine Bewertung der Einschränkungen und offenen Fragen.
David Cressy (Do,) hat diese Frage untersucht.