What question did this study set out to answer?

Ziel ist die Entwicklung einer aufmerksamen freien Architektur für ein effizientes Sprachmodellieren bei konstantem Speicherbedarf.

May 21, 2026Open Access

Hierarchisches Gated Delta Memory: Aufmerksamkeitsfreies Sprachmodellieren mit konstantem Inferenzspeicher

Key Points

Ziel ist die Entwicklung einer aufmerksamen freien Architektur für ein effizientes Sprachmodellieren bei konstantem Speicherbedarf.
Eine Architektur namens Hierarchical Gated Delta Memory für das Byte-Level-Sprachmodellieren entwickelt.
Techniken wie gated outer-product-Dynamik und multi-timescale decay implementiert.
Die Methode durch Training und Experimente zu Sprachmodellierungs- und Aufgaben mit langem Kontext evaluiert.
HGDM zeigte eine effiziente Inferenz mit langem Kontext bei festem Speicherbedarf.
Wettbewerbsfähige Leistung bei Byte-Level-Sprachmodellierungsaufgaben im Vergleich zu bestehenden Modellen erreicht.
Keine Selbstaufmerksamkeit oder externe Schlüssel-Wert-Caches notwendig, was zu reduzierter Komplexität führt.

Abstract

Hierarchisches Gated Delta Memory (HGDM) ist eine aufmerksame freie rekursive Architektur für das Byte-Level-Sprachmodellieren mit konstantem Inferenzspeicher. HGDM erhält einen festgelegten rekursiven Matrixzustand, der durch gated outer-product-Dynamik und multi-timescale decay-Mechanismen aktualisiert wird, inspiriert von prädiktivem Codieren und sparsamen Darstellungen. Die Architektur eliminiert Selbstaufmerksamkeit und externe Schlüssel-Wert-Caches und unterstützt gleichzeitig die rekursive Inferenz mit langem Kontext bei festem Speicherbedarf. Diese Veröffentlichung enthält das begleitende Preprint, das die HGDM-Architektur, die Trainingsmethodik, den Nitro Triton Scan-Kernel und experimentelle Bewertungen zum Byte-Level-Sprachmodellieren und zu Aufgaben mit langem Kontext beschreibt. Code-Repository: https://github.com/iam-saiteja/HGDM-Hierarchical-Gated-Delta-Memory

Hierarchisches Gated Delta Memory: Aufmerksamkeitsfreies Sprachmodellieren mit konstantem Inferenzspeicher

Key Points

Abstract

Cite This Study