In dieser Arbeit beobachten wir ein interessantes Phänomen: Es ist möglich, umkehrbare Satz-Embeddings zu erzeugen, die es einem LLM ermöglichen, den ursprünglichen Text genau zu rekonstruieren, ohne die Gewichte des Modells zu ändern. Dies wird erreicht, indem ein spezieller Speich token eingeführt wird, dessen Embedding durch Training auf einer festen Sequenz optimiert wird. Wenn das Modell mit diesem Embedding angesprochen wird, rekonstruiert es die feste Sequenz genau. Wir bewerten dieses Phänomen anhand von englischen und spanischen Datensätzen, Sequenzen von bis zu etwa 240 Tokens und Modellskalierungen von 100M bis 8B Parametern. Bemerkenswerterweise rekonstruiert Llama 3.1 8B erfolgreich alle getesteten Sequenzen. Unsere Ergebnisse heben eine interessante Fähigkeit von LLMs hervor und legen potenzielle Anwendungen im speicherbasierten Abruf, in der Kompression und in der kontrollierten Textgenerierung nahe.
Sastre et al. (Tue,) haben diese Frage untersucht.