Aktuelle Sicherheitseinschätzungen bewerten hauptsächlich das Modellverhalten zur Einsatzzeit, bieten jedoch nur begrenzte Einblicke in die Robustheit des sicherheitsorientierten Verhaltens unter nachträglichen Modifikationen. Wir stellen TamperBench vor, ein 100-Prompt Open-Source-Benchmark, das entwickelt wurde, um die Abnahme des Sicherheitsverhaltens unter parameter-effizienten Feinabstimmung (PEFT)-Angriffen über fünf Schadenskategorien zu messen: direkter Schaden, Täuschung, Datenschutzverletzungen, bösartige Codegenerierung und subtile Dual-Use-Anfragen. Wir evaluieren Qwen2.5-1.5B-Instruct mit einem 25-Beispiel-LoRA-Angriffsdatensatz und verfolgen die Angriffserfolgsquote (ASR) bei drei Angriffsstärken. Die Basis-ASR beträgt 20% (95% CI: 13%, 29%). Nach nur 50 Optimierungsschritten – ungefähr 15 Minuten auf einer Consumer T4 GPU zu Kosten unter 0,10 – steigt die ASR auf 96% (95% CI: 90%, 98%), ein Anstieg um 76 Prozentpunkte, was auf eine rasche und nahezu vollständige Abnahme des Sicherheitsverhaltens unter leichter Anpassung hinweist. Die erhöhte ASR bleibt bei 100 Schritten (95%, 95% CI: 89%, 98%) und 500 Schritten (87%, 95% CI: 79%, 92%) bestehen. Die Analyse nach Kategorie zeigt, dass die bösartige Codegenerierung nach 50 Schritten 100% ASR erreicht, obwohl sie die niedrigste Basis (5%) hatte, während subtile Dual-Use-Prompts vor einem Angriff 45% ASR erzielen. Ein unerwarteter nicht-monotoner Rückgang der ASR bei 500 Schritten motiviert zukünftige Untersuchungen zu katastrophalem Vergessen unter Feinabstimmung mit kleinen Datensätzen. TamperBench wird als Open Source auf github.com/Plum-AI-Labs/tamperbench veröffentlicht. Diese Ergebnisse deuten darauf hin, dass das sicherheitsorientierte Verhalten in offenen Modellen stark anfällig für parameter-effiziente Modifikationen ist, mit direkten Auswirkungen auf die Governance bei der Bereitstellung offener Modelle und die Interpretation von Sicherheitsbewertungen vor der Bereitstellung.
Hamda Aden (2026) hat diese Frage untersucht.