Verständnis der Unzufriedenheit der Benutzer mit ChatGPT-Antworten: Arten, Lösungsstrategien und der Einfluss des Wissensstands

Große Sprachmodelle (LLMs) mit chatbasierten Funktionen, wie ChatGPT, werden in verschiedenen Arbeitsabläufen weit verbreitet eingesetzt. Aufgrund eines begrenzten Verständnisses dieser großangelegten Modelle haben die Benutzer jedoch Schwierigkeiten, diese Technologie zu nutzen, und erleben verschiedene Arten von Unzufriedenheit. Forscher haben mehrere Methoden eingeführt, wie z.B. Prompt-Engineering, um die Antworten des Modells zu verbessern. Diese konzentrieren sich jedoch darauf, die Leistung des Modells in bestimmten Aufgaben zu verbessern, und es wurde wenig untersucht, wie man mit der Unzufriedenheit der Benutzer umgeht, die aus den Antworten des Modells resultiert. Daher untersuchen wir, anhand von ChatGPT als Fallstudie, die Unzufriedenheit der Benutzer sowie ihre Strategien zur Bewältigung der Unzufriedenheit. Nachdem wir die Unzufriedenheit der Benutzer mit LLMs in sieben Kategorien basierend auf einer Literaturübersicht organisiert haben, sammelten wir 511 Fälle von unzufriedenstellenden ChatGPT-Antworten von 107 Benutzern sowie ihre detaillierten Berichte über unzufriedenstellende Erfahrungen, die wir als öffentlich zugängliches Datenset veröffentlicht haben. Unsere Analyse zeigt, dass Benutzer am häufigsten Unzufriedenheit erleben, wenn ChatGPT ihre Absichten nicht versteht, während sie die Schwere der Unzufriedenheit im Zusammenhang mit Genauigkeit am höchsten bewerten. Wir haben auch vier Strategien identifiziert, die Benutzer anwenden, um ihre Unzufriedenheit anzugehen, sowie deren Wirksamkeit. Wir haben festgestellt, dass Benutzer oft keine Strategien zur Bewältigung ihrer Unzufriedenheit anwenden und selbst wenn sie Strategien verwenden, 72 % der Unzufriedenheit ungelöst bleiben. Darüber hinaus haben wir festgestellt, dass Benutzer mit geringem Wissen über LLMs tendenziell mehr Unzufriedenheit in Bezug auf Genauigkeit erfahren, während sie oft nur minimalen Aufwand betreiben, um Unzufriedenheit anzugehen. Basierend auf diesen Ergebnissen schlagen wir Gestaltungsimplikationen vor, um die Unzufriedenheit der Benutzer zu minimieren und die Benutzerfreundlichkeit von chatbasierten LLMs zu verbessern.