Key points are not available for this paper at this time.
In diesem technischen Bericht haben wir die Leistung der Modelle ChatGPT und GPT-3 bei der Aufgabe der Schwachstellenerkennung im Code bewertet. Unsere Bewertung wurde an unserem realen Datensatz durchgeführt, wobei binäre und mehrfache Klassifikationsaufgaben zu CWE-Schwachstellen verwendet wurden. Wir haben uns entschieden, das Modell zu bewerten, da es in anderen codebasierten Aufgaben, wie dem Lösen von Programmierherausforderungen und dem Verständnis von Code auf hohem Niveau, gute Leistungen gezeigt hat. Allerdings fanden wir, dass das ChatGPT-Modell bei der Erkennung von Code-Schwachstellen in den Aufgaben der binären und mehrfache Klassifikation nicht besser abschnitt als ein Dummy-Klassifikator.
Cheshkov et al. (Wed,) haben diese Frage untersucht.