관찰 데이터에 대한 평가자 간 신뢰도 계산: 개요 및 튜토리얼

많은 연구 설계에서는 여러 코더가 제공한 관찰적 평가 간의 일관성을 입증하기 위해 평가자 간 신뢰도(IRR)의 평가가 필요합니다. 그러나 많은 연구들이 부적절한 통계 절차를 사용하거나, 결과 해석에 필요한 정보를 완전히 보고하지 않거나, IRR이 가설 검정을 위한 후속 분석의 힘에 어떤 영향을 미치는지 다루지 않습니다. 이 논문은 연구 설계, 적절한 통계 선택 및 일반적으로 사용되는 일부 IRR 통계의 계산, 해석 및 보고에 중점을 두고 IRR 평가와 관련된 방법론적 문제를 개관합니다. 계산적인 예시로는 SPSS와 R 구문이 포함되어 있으며, 코헨의 카파 및 클래스 내 상관 관계를 계산하여 IRR을 평가합니다.