Generative KI in der Bewertung: KI-Detektoren und Implikationen für die Praxis

Zusammenfassung: Generative KI hat als wertvolles Werkzeug im Bildungsbereich Aufmerksamkeit erlangt. Es wurden jedoch Bedenken von Lehrkräften hinsichtlich der Originalität der von Studenten eingereichten Texte als Aufgaben geäußert, aufgrund der potenziellen Nutzung von generativer KI bei Schreibaufgaben. Texte in Schreibaufgaben lassen sich in drei Typen kategorisieren: KI-generierte, von Menschen geschriebene und gemischte Texte (eine Kombination aus KI-generierten und von Menschen geschriebenen Texten). Ziel der aktuellen Studie ist es, einige Bedenken von Lehrkräften zur Erkennung der von Studenten eingereichten Texte zu adressieren, d.h. die Konsistenz der Erkennungsergebnisse und die Genauigkeit der Erkennungsergebnisse. Gegenstand der aktuellen Studie waren die Texte, die von Studenten als Aufgaben für einen Aufbaustudiengang eingereicht wurden. Vier Detektoren wurden zur Analyse der Texte eingesetzt. Unsere Ergebnisse lieferten nützliche Informationen für Lehrkräfte: 1) Innerhalb desselben Detektors lagen die Konsistenzen der Erkennungsergebnisse für die drei Textarten alle über 90%. 2) Unter verschiedenen Detektoren wiesen die Erkennungsergebnisse von menschlich geschriebenen Texten die höchste Konsistenz auf, während gemischte Texte die niedrigste Konsistenz zeigten. 3) Bei der Genauigkeit waren KI-generierte und von Menschen geschriebene Texte höher als gemischte Texte. Die Implikationen für die Bildungspraktik wurden diskutiert.