ジャーナルのピアレビューの信頼性一般化研究：評価者間信頼性とその決定因子の多層メタ分析

背景：本論文は、ジャーナルのピアレビューにおける評価者間信頼性（IRR）の初めてのメタ分析を提示する。IRRは、同じ科学文書に対する2人以上の独立したレビューが一致する程度として定義される。方法論/主な発見：メタ分析には、48の研究から合計70の信頼性係数（コーエンのカッパ、クラス内相関係数ICC、ピアソンの積率相関r）が考慮された。研究は合計19,443の原稿に基づいており、各研究の平均サンプルサイズは311原稿（最小：28、最大：1983）であった。メタ分析の結果は、これまでに発表された物語的文献レビューの発見を確認した：IRRのレベル（平均ICC/r2=.34、平均コーエンのカッパ=.17）は低かった。IRR係数の研究間変動を説明するために、7つの共変量を用いてメタ回帰分析が行われた。メタ回帰分析で統計的に有意であった2つの共変量は、まず、研究が基づく原稿数が多いほど、報告されるIRR係数が小さいことを示した。第二に、レビューアーの評価システムについての情報が研究で報告されている場合、報告されていない場合に比べてIRR係数が小さいことが示された。結論/重要性：高いIRRレベルを報告する研究は、低いIRRレベルの研究よりも信頼性が低いと見なされるべきである。私たちのメタ分析によると、ピア評価のIRRはかなり制限されており、改善が必要である（例：読者システム）。