평균 편차 지수를 이용한 평가자 간 일치도 추정: 사용자 지침

저자들은 Burke, Finkelstein 및 Dusig의 평균 편차(AD) 지수를 사용할 때 평가자 간 일치도를 위한 유용한 범위를 설정하고 허용 가능한 평가자 간 일치도에 대한 기준점을 마련하는 가이드라인을 제시하며, AD 지수와 함께 통계적 유의성 검정을 위한 임계값을 제시합니다. 측정항목의 항목 또는 항목 집합에 대해 평가자들이 무작위로 반응한다고 가정할 때, 저자들은 AD 지수를 사용할 때 허용 가능한 평가자 간 일치도 또는 실질적 유의성의 기준이 c/6으로 근사될 수 있음을 보여줍니다. 여기서 c는 Likert형 항목의 반응 옵션 수입니다. 5점, 7점, 9점 및 11점 항목을 사용할 때 각각 평균 편차 지수를 통한 허용 가능한 평가자 간 일치도의 기준으로 0.8, 1.2, 1.5, 1.8의 값이 논의됩니다. 유사한 논리를 사용하여 AD 일치도 지수와 해석 기준은 이산 범주가 아닌 백분율이나 비율을 포함하는 응답 척도의 경우로 일반화되며, 극단적으로는 이분법 항목(예: 예-아니오, 동의-비동의, 참-거짓 항목 형식)에 대한 단일 대상을 평가하는 것과 관련된 평가자 간 일치도를 평가할 때와도 관련됩니다. 마지막으로, 이러한 가이드라인이 원래의 응답 척도의 지표(또는 단위)에 대해 허용 가능한 평가자 간 일치도를 판단하는 데 유용함을 논의합니다.