استخدام نموذج إحصائي جديد لتقييم اختبار توفل

الملخص: نماذج نظرية استجابة العناصر القياسية (IRT) الملائمة لردود الامتحانات忽略ت حقيقة أن مجموعات العناصر (اختبارات فرعية) غالباً ما تتطابق مع مثير مشترك واحد (على سبيل المثال، فقرة لفهم القراءة). في هذه الحالة، من غير المحتمل أن تكون جميع العناصر المقدمة للممتحن مستقلة شرطياً (بالنظر إلى كفاءة الممتحن). ستبالغ النماذج التي تفترض الاستقلال الشرطي في تقدير دقة قياس كفاءة الممتحن. قد يؤدي الإفراط في تقدير الدقة إلى استنتاجات غير دقيقة بالإضافة إلى إنهاء الامتحان في وقت مبكر يعتمد فيه قاعدة التوقف على الخطأ القياسي المقدر لكفاءة الممتحن (على سبيل المثال، اختبار تفاعلي). تم تعديل نموذج IRT القياسي ذو المعلمات الثلاثة ليشمل تأثيراً عشوائياً إضافياً للعناصر المدفونة ضمن نفس الاختبار الفرعي (Wainer, Bradlow, and Du, 2000). هذا المعامل، γ، يميز مقدار الاعتماد المحلي في الاختبار الفرعي. قمنا بتطبيق 86 اختبار فرعي لتوفل (50 لفهم القراءة و36 لفهم الاستماع) باستخدام النموذج الجديد، وحصلنا على قيمة لتباين γ لكل اختبار فرعي. قمنا بمقارنة المعلمات القياسية التمييز (a) والصعوبة (b) والتخمين (c) مع ما تم الحصول عليه من خلال النمذجة التقليدية. وجدنا أن الصعوبات تم تقديرها بدقة في كلتا الحالتين، لكن تقديرات كلاً من a وc كانت منحازة إذا تم الافتراض بشكل غير صحيح الاستقلال الشرطي. من الأهمية الكبرى، وجدنا أن معلومات الاختبار كانت مبالغ فيها بشكل كبير عندما تم الافتراض بشكل غير صحيح الاستقلال الشرطي.