Utilisation d'un nouveau modèle statistique pour les testlets afin d'évaluer le TOEFL

RÉSUMÉ Les modèles standards de théorie de la réponse à l'élément (IRT) appliqués aux réponses d'examen ignorent le fait que des ensembles d'éléments (testlets) sont souvent associés à un seul stimulus commun (par exemple, un passage de compréhension de lecture). Dans ce contexte, tous les éléments donnés à un candidat ne sont pas susceptibles d'être conditionnellement indépendants (étant donné la compétence du candidat). Les modèles qui supposent l'indépendance conditionnelle surestiment la précision avec laquelle la compétence du candidat est mesurée. Une surestimation de la précision peut conduire à des inférences inexactes ainsi qu'à une fin prématurée d'un examen dans lequel la règle d'arrêt est basée sur l'erreur standard estimée de la compétence du candidat (par exemple, un test adaptatif). Le modèle IRT standard à trois paramètres a été modifié pour inclure un effet aléatoire supplémentaire pour les éléments nichés au sein du même testlet (Wainer, Bradlow et Du, 2000). Ce paramètre, γ, caractérise le degré de dépendance locale dans un testlet. Nous avons ajusté 86 testlets TOEFL (50 compréhension de lecture et 36 compréhension orale) avec le nouveau modèle, et obtenu une valeur pour la variance de γ pour chaque testlet. Nous avons comparé les paramètres standard de discrimination (a), de difficulté (b) et de devinette (c) avec ce qui est obtenu à travers la modélisation traditionnelle. Nous avons trouvé que les difficultés étaient bien estimées dans les deux cas, mais que les estimations de a et c étaient biaisées si l'indépendance conditionnelle était incorrectement supposée. Plus important encore, nous avons constaté que l'information sur le test était considérablement surestimée lorsque l'indépendance conditionnelle était incorrectement supposée.