Beyond Polishing: An Exploratory Comparison of Editor- and Challenger-Style AI Prompts on Problem Framing in Data Science Education

Generative KI-Tutorensysteme verfeinern überwiegend Formulierung, Struktur und Machbarkeit der Ausgangsformulierung eines Problems durch die Studierenden. Ob KI-Unterstützung, die stattdessen Gegenvorschläge unterbreitet – alternative Problemrahmungen, Stakeholder-Perspektiven und das Hinterfragen von Annahmen –, die Originalität der resultierenden Problemformulierung verändert, ist eine offene empirische Frage für die Datenwissenschaftsausbildung. Diese Arbeit untersucht diese Frage in einer explorativen Studie mit dreißig Masterstudierenden der Universität Koblenz. Jede Teilnehmerin und jeder Teilnehmer interagierte mit einer eigens entwickelten Web-Plattform, die durch drei aufeinanderfolgende Phasen führte: eine Editor-KI-Phase, eine Challenger-KI-Phase und eine abschließende KI-freie Synthese. Das Endthema wurde auf vier Dimensionen (Originalität, Machbarkeit, Begründungsqualität, Klarheit) von einer domänenkundigen Person sowie von einem LLM-Zweitbewerter (Anthropic Claude), beide verblindet für die Gruppenzugehörigkeit, bewertet. Da das ursprünglich geplante kontrollierte Crossover-Design nicht umgesetzt werden konnte, wurden die Teilnehmenden post-hoc in eine Editor-beeinflusste und eine Challenger-beeinflusste Gruppe sortiert, basierend auf triangulierten Selbstauskunfts- und Präferenzdaten. Themen aus der Challenger-beeinflussten Gruppe erhielten deutlich höhere Originalitätsbewertungen (Cohens d = 3.67, 95% KI [2.50, 4.84]); Themen aus der Editor-beeinflussten Gruppe waren machbarer und klarer formuliert. Ein unerwarteter Sekundäreffekt zeigte sich zugunsten der Challenger-beeinflussten Gruppe in der Begründungsqualität. Aufgrund der post-hoc definierten Gruppen und der festen Reihenfolge sind diese Ergebnisse als Assoziationen, nicht als kausale Wirkungen, zu lesen. Die Arbeit liefert empirische Hinweise, methodische Dokumentation eines hybriden Mensch-LLM-Bewertungsverfahrens und Designhinweise für Bildungs-KI-Werkzeuge.