Wie sicher ist KI-generierter Code: Ein großangelegter Vergleich großer Sprachmodelle

Diese Studie vergleicht hochmoderne große Sprachmodelle (LLMs) hinsichtlich ihrer Tendenz, Schwachstellen beim Schreiben von C-Programmen unter Verwendung eines neutralen Zero-Shot-Prompts zu erzeugen. Tihanyi et al. führten das FormAI-Dataset bei PROMISE'23 ein, das 112.000 C-Programme enthält, die von GPT-3.5-turbo generiert wurden, von denen über 51,24 % als anfällig identifiziert wurden. Wir erweiterten diese Forschung mit einer großangelegten Studie, die 9 hochmoderne Modelle umfasst, darunter OpenAI's GPT-4o-mini, Googles Gemini Pro 1.0, TIIs 180 Milliarden-Parameter Falcon, Metas 13 Milliarden-Parameter Code Llama sowie mehrere andere kompakte Modelle. Darüber hinaus stellen wir das FormAI-v2-Dataset vor, das 331.000 kompilierbare C-Programme enthält, die von diesen LLMs generiert wurden. Jedes Programm im Dataset ist basierend auf den Schwachstellen, die in seinem Quellcode durch formale Verifizierung erkannt wurden, gekennzeichnet, wobei der effiziente SMT-basierte kontextbeschränkte Modellprüfer (ESBMC) verwendet wird. Diese Technik minimiert falsch positive Ergebnisse, indem sie ein Gegenbeispiel für die spezifische Schwachstelle bereitstellt, und verringert falsch negative Ergebnisse, indem der Verifizierungsprozess gründlich abgeschlossen wird. Unsere Studie zeigt, dass mindestens 62,07 % der generierten Programme anfällig sind. Die Unterschiede zwischen den Modellen sind gering, da sie alle ähnliche Programmierfehler mit geringen Variationen aufweisen. Unsere Forschung hebt hervor, dass LLMs zwar vielversprechende Fähigkeiten zur Codegenerierung bieten, die Bereitstellung ihrer Ergebnisse in einer Produktionsumgebung jedoch eine angemessene Risikobewertung und Validierung erfordert.