高等教育における研究資金のための査読：オーストラリアの経験

本記事では、オーストラリアの大学における全学問分野の研究資金を得るために使用される査読プロセスを評価します。オーストラリア研究評議会（ARC）に提出された研究提案（2,989提案、6,233外部査読者）の査読は、研究者および外部査読者の特性に関連しています。査読の信頼性は失望するほど低く（提案ごとの外部査読者の平均が4.3である研究者評価の間一致率は0.53）、研究者の性別や年齢、研究チームの研究者数は資金が許可される確率に影響を与えませんでしたが、教授は非教授よりも資金が得られる可能性が高かったです。オーストラリアの外部査読者は、北アメリカからの非オーストラリアの査読者よりも低い評価を与えました。各提案の外部査読者数および各外部査読者が評価した提案の数は、評価に小さな負の影響を及ぼしました。研究者指定の外部査読者（研究提案の著者により選ばれた者）は、ARCによって選ばれたパネル指定の外部査読者よりも高く、しかし信頼性の低い評価を与えました。査読の信頼性を向上させるために、次の推奨事項を提供します：(a) 研究者指定の査読者は使用しないこと；(b) 提案ごとの査読数を増やすこと；(c) 各サブディシプリン内で多くの査読を行うために、小数のより高く選択された査読者がすべての査読を行うべきです。これにより、個々の査読者に関連するエラーの制御が強化されます。