Verwendung von Ähnlichkeitsmetriken für die automatisierte Bewertung von SQL-Anweisungen

Die manuelle Bewertung von SQL-Anweisungen nach einer Prüfung kann für den Lehrassistenten mühsam und zeitaufwendig sein. Darüber hinaus kann sie auch subjektiv von ihrem aktuellen Gemütszustand abhängen und ist somit fehleranfällig. In diesem Papier schlagen wir eine automatisierte Methode zur Bewertung einzelner SQL-Anweisungen vor. Die Methode verwendet mehrere gängige und einfache Ähnlichkeitsmetriken zur Stringvergleiche, um die von den Studenten erstellten Anweisungen mit den Referenzanweisungen zu vergleichen. Diese werden dann zusammen mit den manuell zugewiesenen Noten verwendet, um das prädiktive logistische Regressionsmodell zu erstellen. Die vorgeschlagene Methode wurde an einem Datensatz mit 314 Paaren von Studenten-Referenz-Anweisungen sowie der diskretisierten Durchschnittsnote, die von drei unabhängigen Evaluatoren vergeben wurde, evaluiert. Das Modell erreichte die erwartete Klassifikationsgenauigkeit von 78% bei einer binären Klasse und zeigt somit sein Potenzial für die Anwendung in der Praxis. Das Modell kann mit den vorgeschlagenen berechneten Merkmalen und den berichteten gelernten Parametern verwendet oder an die Bewertungskriterien anderer Prüfer angepasst werden, sofern diese bereit sind, manuell bewertete Datensätze zu erstellen.