Eine Anwendung der Urteilsanalyse auf die Prüfungsevaluation in der Psychologie

Statistische Kombinationen spezifischer Maße haben sich in mehreren Bereichen als überlegen gegenüber Expertenurteilen erwiesen. In dieser Studie wurde die Urteilsanalyse auf die Prüfungsevaluation angewendet, um Faktoren zu untersuchen, die die vergebenen Noten beeinflussten und zu Unterschieden zwischen dem ersten und dem zweiten Prüfer beitrugen. Sieben Prüfer in der Psychologie bewerteten 551 Prüfungsantworten zu sieben 'Aspekten', für die spezifische Bewertungskriterien entwickelt wurden, um bewährte Praktiken in der Bewertung zu unterstützen. Die Aspekte waren: die Beantwortung der Frage, die Abdeckung des Themas, das Verständnis, die Bewertung, die Entwicklung des Arguments, Struktur und Organisation sowie Klarheit. Die Hauptkomponentenanalyse wies auf einen Hauptfaktor und nicht mehr als zwei Nebenfaktoren hin, die den sieben Aspekten zugrunde lagen. Die Bewertungen der Aspekte wurden verwendet, um die Gesamtnoten vorherzusagen, wobei die multiple Regression eingesetzt wurde, um die Bewertungsrichtlinien der einzelnen Prüfer 'einzufangen'. Diese variierten von Prüfer zu Prüfer in Bezug auf die Anzahl der Aspektbewertungen, die unabhängige Beiträge zur Vorhersage der Gesamtnotes leisteten, und in dem Maße, in dem die Aspektbewertungen die Varianz der Gesamtnoten erklärten. Die Anzahl der unabhängig prädiktiven Aspektbewertungen und die Menge der Varianz der Gesamtnoten, die durch Aspektbewertungen erklärt wurden, waren durchgängig höher für die ersten Prüfer (Frageersteller) als für die zweiten Prüfer. Die Gesamtnoten der Co-Prüfer wurden dann als externes Kriterium verwendet, um zu testen, inwieweit ein einfaches Modell, das aus der Summe der Aspektbewertungen bestand, die Gesamtnoten bei der Vorhersage der Co-Prüfernoten verbesserte. Das Modell erhöhte signifikant die erklärte Varianz der Co-Prüfernoten, jedoch nur für die zweiten Prüfer, die das Material nicht gelehrt und die Frage nicht gestellt hatten. Weitere Forschung ist erforderlich, um die Kriterien zu entwickeln und insbesondere die Zuverlässigkeit und Validität spezifischer Aspekte der Bewertung festzustellen. Die vorliegenden Ergebnisse unterstützen die Auffassung, dass kombinierte Maße spezifischer Aspekte der Prüfungsantworten zumindest für die zweiten Prüfer dazu beitragen können, die Zuverlässigkeit der Bewertung zu verbessern.