حساب موثوقية التقييم بين المقيّمين وتباينها في ظل وجود اتفاق مرتفع

تُستخدم إحصائيات باي (باي) وكابا (كابا) على نطاق واسع في مجالات الطب النفسي والاختبارات النفسية لحساب مدى الاتفاق بين المقيّمين في البيانات المصنفة بشكل اسمي. من المعروف أن هذه المعاملات أحيانًا تُنتج نتائج غير متوقعة في المواقف المعروفة باسم تناقضات كابا. تستكشف هذه الورقة أصل هذه القيود، وتقدم معامل اتفاق بديل وأكثر استقرارًا يُشار إليه باسم معامل AC1. تم اقتراح مقدرين جديدين للتباين لإحصائيات باي العامة متعددة المقيّمين ومعامل AC1، حيث لا يعتمد صحة هذه المقدرين على فرضية الاستقلال بين المقيّمين. هذا يُعتبر تحسينًا على التباينات البديلة القائمة، التي تعتمد على فرضية الاستقلال. تُظهر دراسة محاكاة مونت كارلو صحة هذه المقدرين للتباين لبناء فترات الثقة، وتؤكد قيمة AC1 كبديل مُحسّن للإحصائيات الموجودة لموثوقية التقييم بين المقيّمين.