Wenn die Code-Vervollständigung fehlschlägt: Eine Fallstudie zu realen Vervollständigungen

Code-Vervollständigung wird häufig von Softwareentwicklern verwendet und ist in alle gängigen IDEs integriert. Gute Vervollständigungstools können nicht nur Zeit und Mühe sparen, sondern auch helfen, falsche API-Nutzung zu vermeiden. Viele vorgeschlagene Vervollständigungstools haben vielversprechende Ergebnisse bei synthetischen Benchmarks gezeigt, aber diese Benchmarks machen keine Aussagen über die Realitätsnähe der getesteten Vervollständigungen. Dieser Mangel an Bezug zu realen Daten könnte unser wissenschaftliches Verständnis der Bedürfnisse von Entwicklern und der Wirksamkeit von Vervollständigungsmodellen beeinträchtigen. In diesem Papier präsentieren wir eine Fallstudie zu 15.000 Code-Vervollständigungen, die von 66 realen Entwicklern angewendet wurden, die wir untersuchen und mit künstlichen Vervollständigungen vergleichen, um zukünftige Forschung und Tools in diesem Bereich zu informieren. Wir stellen fest, dass synthetische Benchmarks viele Aspekte realer Vervollständigungen falsch darstellen; getestete Vervollständigungstools waren bei realen Daten weit weniger genau. Schlimmer noch, bei den wenigen Vervollständigungen, die den Großteil der Zeit der Entwickler in Anspruch nahmen, lag die Vorhersagegenauigkeit unter 20% – ein Effekt, der in synthetischen Benchmarks unsichtbar ist. Unsere Ergebnisse haben Auswirkungen auf zukünftige Benchmarks, Tool-Design und die Wirksamkeit in der realen Welt: Benchmarks müssen Vervollständigungen berücksichtigen, die Entwickler am häufigsten verwenden, wie z.B. intra-projektbezogene APIs; Modelle sollten so entworfen werden, dass sie intra-projektbezogene Daten berücksichtigen können; und reale Entwicklerstudien sind unerlässlich, um die Leistung bei den am wenigsten vorhersehbaren Vervollständigungen zu quantifizieren, die sowohl am zeitaufwändigsten als auch in der Regel weitaus typischer sind als es künstliche Daten vermuten lassen. Wir veröffentlichen unser Preprint öffentlich https://doi.org/10.5281/zenodo.2565673 sowie Replikationsdaten und -materialien https://doi.org/10.5281/zenodo.2562249.