Komponenten von Bewerterfehlern in einer komplexen Leistungsbewertung

Zahlreiche Studien haben Leistungsbewertungsdaten mithilfe der Generalisierbarkeitstheorie untersucht. Typischerweise wurden in diesen Studien Bewerter als zufällig aus einer Population ausgewählt betrachtet, wobei jeder Bewerter eine gegebene Leistung an einem einzigen Anlass beurteilt. Dieses Papier präsentiert zwei Studien, die sich auf Aspekte des Bewertungsprozesses konzentrieren, die in diesem typischen Design nicht ausdrücklich berücksichtigt werden. Die erste Studie macht die "Ausschuss"-Facette explizit und erkennt an, dass Bewerter oft in Gruppen arbeiten. Die zweite Studie macht die "Bewertungsanlass"-Facette explizit, indem jeder Bewerter jede Leistung an zwei separaten Anlässen bewertet. Die Ergebnisse der ersten Studie heben die Bedeutung hervor, die relevanten Facetten des Interessensuniversums klar zu spezifizieren. Das Versäumnis, die Ausschussfacette einzubeziehen, führte zu einer übermäßig optimistischen Schätzung der Präzision des Messverfahrens. Im Gegensatz dazu hatte das Versäumnis, die Bewertungsanlassfacette in der zweiten Studie einzubeziehen, minimale Auswirkungen auf die geschätzte Fehlervarianz.