Messung der Fähigkeiten zur Optimierung der Codeeffizienz mit ACEOB

Da die Gewinne des Moore'schen Gesetzes abnehmen, werden Softwareleistung und -effizienz zunehmend entscheidend. Die Optimierung der Codeeffizienz ist herausfordernd, selbst für professionelle Programmierer. Dennoch ist die damit verbundene Forschung relativ rar, und eine rigorose Bewertung der Fähigkeiten von Modellen zur Optimierung der Codeeffizienz ist mit Schwierigkeiten verbunden. In Reaktion auf diese Herausforderung führen wir zunächst eine eingehende Analyse von "Code-Mustern" im Datensatz für das Modelltraining durch, wobei wir menschlich verfassten Code sorgfältig untersuchen. Zweitens definieren wir eine Aufgabe zur Optimierung der Codeeffizienz und führen den Automatic Code Efficiency Optimization Benchmark (ACEOB) ein, der aus 95.359 Paaren von effizientem und ineffizientem Code besteht, um die Fähigkeiten zur Optimierung der Codeeffizienz zu bewerten. Nach unserem Wissen ist ACEOB der erste Datensatz, der speziell auf die Optimierung der Codeeffizienz in Python abzielt. Um die Fähigkeit von Modellen zur Optimierung der Codeeffizienz zu bewerten, schlagen wir zwei neue Kennzahlen vor: die isomorphe optimale Vergleichs-Kennzahl CodeBLEU (IOCCB) und den normalisierten Leistungsindex (NPI), um die Effizienz des vom Modell generierten Codes zu bewerten. Wir bewerten auch mehrere fortgeschrittene Code-Modelle, wie PolyCoder und CodeT5, nachdem wir sie auf ACEOB feinjustiert haben, und zeigen, dass die Effizienz jedes Modells nach Einführung des NPI-Filters verbessert wird. Es wurde jedoch beobachtet, dass selbst ChatGPT nicht optimal bei Aufgaben zur Optimierung der Codeeffizienz abschneidet.