Die Auswirkungen der multidirektionalen Itemparameterverschiebung auf IRT-Skalierungskoeffizienten und Leistungsdiagnosen

Zusammenfassung Die Itemparameterverschiebung (IPD) tritt auf, wenn sich die Werte der Itemparameter im Laufe der Zeit von ihrem ursprünglichen Wert verändern. IPD kann eine ernsthafte Bedrohung für die Fairness und Validität der Testwertinterpretationen darstellen, insbesondere wenn das Ziel der Bewertung darin besteht, Wachstums- oder Verbesserungsfortschritte zu messen. In dieser Studie untersuchten wir die Auswirkungen der multidirektionalen IPD (d.h. einige Items werden schwieriger, während andere einfacher werden) auf das Verknüpfungsverfahren und die neu skalierten Leistungsdiagnosen. Der Einfluss verschiedener Kombinationen von Verknüpfungsitems mit unterschiedlichen multidirektionalen IPDs auf das Test-Einheitsverfahren wurde für drei Skalierungsmethoden (Mean-Mean, Mean-Sigma und TCC-Methode) über eine Reihe von Simulationsstudien untersucht. Es wurde beobachtet, dass die multidirektionale IPD einen wesentlichen Einfluss auf die Ergebnisse der Prüfer und die Klassifikationen der Leistungsniveaus unter einigen der untersuchten Bedingungen hatte. Die Wahl der Verknüpfungsmethode hatte einen direkten Einfluss auf die Ergebnisse, ebenso wie das Muster der IPD. Anmerkungen 1Die EAP-Methode wurde gewählt, da sie häufig in groß angelegten Bewertungen verwendet wird und um die Probleme zu vermeiden, die mit der Maximum-Likelihood-Schätzung (MLE) Methode verbunden sind (z.B. das Fehlen von Schätzungen bei bestimmten Antwortmustern (alle Items korrekt/inkorrekt)). Die EAP-Methode führt tendenziell zu reduzierten Standardfehlern, und die Leistungsdiagnosen wurden leicht in Richtung des Mittelwerts verkleinert. Eine Wahl der Schätzmethode hat jedoch keinen Einfluss auf die Studie, da die Studie durchgehend die EAP verwendet.