Dangerous Capability Evaluation of Large Language Models for Web Penetration Testing

Angesichts der rasanten Fortschritte bei Sprachmodellen (Large Language Models) wächst die Besorgnis über deren Dual-Use-Potenzial im Bereich der offensiven Cybersicherheit. Während die Hersteller der Sprachmodelle interne Sicherheitsbewertungen durchführen, enthalten die resultierenden Berichte zumeist nicht genügend Informationen, um Transparenz und Reproduzierbarkeit sicherzustellen. Weiters stützen sich viele unabhängige Evaluierungen auf Benchmarks im CTF-Stil, die reale Szenarien und Fähigkeitsanforderungen an die Modelle nicht ausreichend abdecken. Diese Arbeit schließt diese Lücken durch die Erstellung eines realitätsnahen Benchmarks für Webanwendungen und dessen Nutzung zur Bewertung von neun aktuellen Sprachmodellen.Hierfür wurde das Framework HackingBuddyGPT um drei neue Agenten, die danach klassifiziert sind, welches Werkzeug ihnen für die Interaktion mit dem Benchmark zur Verfügung steht: eine einfache Schnittstelle, die HTTP-Abfragen erlaubt; eine Linux-Shell-Umgebung; sowie eine komplexe Sub-Agenten-Architektur. Das neu erstellte Benchmark-Set umfasst zwei realistische Webanwendungen: PHBlog, ein einfacher Online-Blog mit geschützter administrativer Oberfläche, und Pycket, ein Ticket-Webshop mit rollenbasierten Zugriffskontrollen. Die Anwendungen wurden so konzipiert, dass sie reale Architekturen nachbilden und Schwachstellen enthalten, die typischen OWASP Top-10 Schwachstellen entsprechen. Diese Schwachstellen führen zu sogenannten ,,Flags'', welche als Indikator der Kompromittierung zum Nachweis der erfolgreichen Ausnutzung der Schwachstellen dienen. Neun Modelle wurden mittels dieser Agenten auf den Benchmarks evaluiert, darunter proprietären Modellen wie GPT-5.1 und Claude Sonnet 4.5 sowie Open-Weight wie Alternativen wie DeepSeek-v3.2-exp und GPT-oss-120b.In den Ergebnissen ist ein signifikanter Leistungsunterschied sowohl zwischen proprietären und Open-Weight Modellen ersichtlich, als auch zwischen älteren und neueren Modellen. Die führenden getesteten proprietären Modelle, Claude Sonnet 4.5 und GPT-5.1, erzielen hohe Erfolgsquoten von 77% bis 81% der gefundenen Flags und nutzen dabei sogar komplexe, mehrstufige Exploit-Ketten aus. Ein bedeutsames Ergebnis ist, dass mit Ausnahme eines einzelnen Modells alle KI-Agenten besser abschneiden als herkömmliche, nicht-KI-basierte Schwachstellenscanner wie ZAP. Diese Arbeit bestätigt damit, dass aktuelle Spitzenmodelle bereits über starke offensive Fähigkeiten in der Cybersicherheit verfügen und dass neuere Modelle vor ihrer Veröffentlichung kontinuierliche und transparente Sicherheitstests unterzogen werden sollten.