CodeS: Natürliche Sprache zu Code-Repository über Multi-Layer-Skizze

Die beeindruckende Leistung großer Sprachmodelle (LLMs) bei codebezogenen Aufgaben hat das Potenzial vollautomatisierter Softwareentwicklung aufgezeigt. In diesem Zusammenhang führen wir eine neue Software-Engineering-Aufgabe ein, nämlich die Umwandlung natürlicher Sprache in ein Code-Repository (NL2Repo). Diese Aufgabe zielt darauf ab, ein ganzes Code-Repository aus seinen Anforderungen in natürlicher Sprache zu generieren. Um diese Aufgabe zu adressieren, schlagen wir ein einfaches, aber effektives Framework namens CodeS vor, das NL2Repo in mehrere Unteraufgaben durch eine Multi-Layer-Skizze zerlegt. Konkret umfasst CodeS drei Module: RepoSketcher, FileSketcher und SketchFiller. RepoSketcher erstellt zunächst die Verzeichnisstruktur eines Repositories für gegebene Anforderungen; FileSketcher generiert dann eine Dateiskizze für jede Datei in der erzeugten Struktur; SketchFiller füllt schließlich die Details für jede Funktion in der generierten Dateiskizze aus. Um CodeS rigoros für die NL2Repo-Aufgabe zu bewerten, führen wir Bewertungen sowohl durch automatisierte Benchmarking- als auch durch manuelle Feedbackanalyse durch. Für die benchmarkbasierte Bewertung entwickeln wir einen repository-orientierten Benchmark, SketchEval, und entwerfen eine Bewertungsmetrik, SketchBLEU. Für die feedbackbasierte Bewertung entwickeln wir ein VSCode-Plugin für CodeS und beteiligen 30 Teilnehmer an empirischen Studien. Umfangreiche Experimente beweisen die Effektivität und Praktikabilität von CodeS bei der NL2Repo-Aufgabe.