What type of study is this?

This is a Experimental Study study (also classified as: Quantitative Study).

October 5, 2025Open Access

Ist die zwei Jahrzehnte alte Prophezeiung wahr geworden? Künstliche schlechte Intelligenz ausgelöst durch lediglich einen einzelnen Bit-Flip in großen Sprachmodellen

YYYan YuQiqihar University SLSiqi LuFujian Medical University YGYang GaoChildren's Hospital of Chongqing Medical University

Key Points

Ein-Bit-Schwachstellen in großen Sprachmodellen können zu schweren Fehlern im Denken und zu gefährlichen Ausgaben führen.
Experimentelle Ergebnisse zeigen, dass gezielte Angriffe die Genauigkeit in nur wenigen Sekunden von 73,5 % auf 0 % drastisch reduzieren können.
Ein neues Modell, BitSifter, identifiziert kritische Bits in LLMs, insbesondere in sensiblen Tensorregionen, die die Leistung beeinflussen.
Die Modellgröße steht in negativem Zusammenhang mit der Robustheit, wodurch kleinere Modelle anfälliger für Bit-Flip-Angriffe werden.

Abstract

Kürzlich hat der Bit-Flip-Angriff (BFA) aufgrund seiner Fähigkeit, die Integrität von Softwaresystemen aus der Ferne durch Hardwarefehlerinjektion zu gefährden, große Aufmerksamkeit erlangt. Mit der weit verbreiteten Destillation und Bereitstellung von großen Sprachmodellen (LLMs) in einzelnen .gguf-Dateiformaten sind ihre Gewichtsräume einem beispiellosen Hardware-Angriffsfläche ausgesetzt. Dieses Papier ist das erste, das systematisch die Existenz von Ein-Bit-Schwachstellen in LLM-Gewichtodern entdeckt und validiert: In gängigen Open-Source-Modellen (z.B. DeepSeek und QWEN), die .gguf quantisierte Formate verwenden, kann das Umdrehen eines einzelnen Bits drei Arten von gezielten semantischen Fehlfunktionen hervorrufen: Künstliche fehlerhafte Intelligenz (Ausgabe faktischer Fehler), Künstliche schwache Intelligenz (Verschlechterung der logischen Denkfähigkeit) und Künstliche schlechte Intelligenz (Erzeugung schädlicher Inhalte). Durch den Aufbau eines informationstheoretischen Modells zur Gewichtssensitivität-Entropie und eines probabilistischen heuristischen Scanning-Frameworks namens BitSifter erreichten wir eine effiziente Lokalisierung kritischer verletzlicher Bits in Modellen mit Hunderten von Millionen von Parametern. Experimente zeigen, dass die Schwachstellen signifikant im Tensor-Datenbereich konzentriert sind, insbesondere in Bereichen, die mit dem Aufmerksamkeitssystem und den Ausgabeschichten verbunden sind, die am empfindlichsten sind. Ein negativer Zusammenhang wurde zwischen der Modellgröße und der Robustheit beobachtet, wobei kleinere Modelle anfälliger für Angriffe sind. Darüber hinaus wurde eine entfernte BFA-Kette entwickelt, die semantische Angriffe in realen Umgebungen ermöglicht: Bei einer Angriffsfrequenz von 464,3 Mal pro Sekunde kann ein einzelnes Bit in nur 31,7 Sekunden mit 100 % Erfolg umgedreht werden. Dies führt dazu, dass die Genauigkeit von LLM von 73,5 % auf 0 % fällt, ohne dass teure Geräte oder komplexe Prompt-Engineering erforderlich sind.

KI fragen

Bookmark

View Full Paper