Eine empirische Studie zu den Herausforderungen für LLM-Entwickler

In den letzten Jahren haben große Sprachmodelle (LLMs) erhebliche Fortschritte gemacht und verschiedene Bereiche wie die Verarbeitung natürlicher Sprache und die Softwareentwicklung stark beeinflusst. Diese LLMs, exemplifiziert durch OpenAIs ChatGPT, haben revolutioniert, wie wir Sprachverständnis- und Erzeugungsaufgaben angehen. Im Gegensatz zu traditionellen Softwareentwicklungspraktiken bringt die Entwicklung von LLMs neue Herausforderungen für KI-Entwickler in den Bereichen Design, Implementierung und Bereitstellung mit sich. Diese Herausforderungen erstrecken sich über verschiedene Bereiche (wie Prompts, APIs und Plugins) und erfordern von den Entwicklern, dass sie mit einzigartigen Methoden und Überlegungen umgehen, die spezifisch für die Entwicklung von LLMs sind. Trotz des tiefgreifenden Einflusses von LLMs wurden diese Herausforderungen, soweit uns bekannt ist, in früheren empirischen Studien nicht gründlich untersucht. Um diese Lücke zu schließen, präsentieren wir die erste umfassende Studie zum Verständnis der Herausforderungen, mit denen LLM-Entwickler konfrontiert sind. Konkret crawlen und analysieren wir 29.057 relevante Fragen aus einem beliebten OpenAI-Entwicklerforum. Zunächst untersuchen wir deren Popularität und Schwierigkeit. Nach der manuellen Analyse von 2.364 ausgewählten Fragen erstellen wir eine Taxonomie der Herausforderungen, denen LLM-Entwickler gegenüberstehen. Basierend auf dieser Taxonomie fassen wir eine Reihe von Ergebnissen und umsetzbaren Implikationen für LLM-bezogene Interessengruppen zusammen, einschließlich Entwicklern und Anbietern (insbesondere der OpenAI-Organisation).