Ein Vergleich klassischer und moderner Maße der internen Konsistenz

Drei Maße der internen Konsistenz - Kuder-Richardson Formel 20 (KR20), Cronbachs Alpha (α) und Personentrennungssicherheit (R) - werden betrachtet. KR20 und α sind gebräuchliche Maße in der klassischen Testtheorie, während R in der modernen Testtheorie entwickelt wurde und präziser im Rasch-Messverfahren verankert ist. Diese drei Maße spezifizieren die beobachtete Varianz als Summe aus wahrer Varianz und Fehlervarianz. Sie unterscheiden sich jedoch in der Art und Weise, wie diese Größen ermittelt werden. KR20 verwendet die Fehlervarianz eines "durchschnittlichen" Antwortgebers aus der Stichprobe, was die Fehlervarianz von Probanden mit hohen oder niedrigen Werten überschätzt. Umgekehrt verwendet R die tatsächliche durchschnittliche Fehlervarianz der Stichprobe. KR20 und α verwenden die Testergebnisse der Antworten bei der Berechnung der beobachteten Varianz. Dies kann potenziell irreführend sein, da Testergebnisse keine linearen Darstellungen der zugrunde liegenden Variablen sind, während die Berechnung der Varianz Linearität erfordert. Im Gegensatz dazu, wenn die Daten dem Rasch-Modell entsprechen, liegen die für jeden Probanden geschätzten Maße auf einer linearen Skala und sind somit numerisch geeignet zur Berechnung der beobachteten Varianz. Angesichts dieser Unterschiede wird erwartet, dass R ein besserer Index für interne Konsistenz ist als KR20 und α. Die vorliegende Arbeit vergleicht die drei Maße anhand von simulierten Datensätzen mit dichotomen und polytomen Items. Es wird gezeigt, dass alle Schätzungen der internen Konsistenz mit zunehmender Schiefe der Punktverteilung abnehmen, wobei R stärker abnimmt. Dadurch ist R konservativer als KR20 und α und verhindert, dass Testanwender glauben, ein Test habe bessere Messmerkmale, als er tatsächlich hat. Außerdem wird gezeigt, dass auf Rasch basierende Infit- und Outfit-Personenstatistiken zur Handhabung von Datensätzen mit zufälligen Antworten verwendet werden können. Zwei Optionen werden beschrieben. Die erste beinhaltet die Berechnung einer konservativeren Schätzung der internen Konsistenz. Die zweite beinhaltet die Erkennung von Individuen mit zufälligen Antworten. Wenn es einige Individuen mit einer konsistenten Anzahl zufälliger Antworten gibt, ermöglichen Infit und Outfit, fast alle davon korrekt zu erkennen. Sobald diese Individuen entfernt sind, erhält man einen "bereinigten" Datensatz, der zur Berechnung einer weniger verzerrten Schätzung der internen Konsistenz verwendet werden kann.