Externe Sicherheitsvorrichtungen für LLMs fügen Latenz und Rechenaufwand hinzu, während sie blind für die internen Modellüberlegungen bleiben. Wir fragen: Weiß das Modell bereits, wann Inhalte schädlich sind? Wir extrahieren Aktivierungen aus LLaMA-3.1-8B und trainieren leichte MLP-Klassifiziererproben (12,6 Millionen Parameter), um schädliche Eingabeaufforderungen zu erkennen. Evaluierung an WildJailbreak, Beavertails und AEGIS 2.0 zeigte, dass unsere Proben F1-Scores von 99 %, 83 % und 84 % erreichten, was mit 1000×+ größeren Wachtmodellen konkurriert, während Latenz und Rechenkosten gesenkt wurden.
Khatri et al. (Mon,) haben diese Frage untersucht.