多分析者研究による科学の信頼性のより信頼できる評価に向けて

私たちは、相対的に新しいメタ科学的研究デザインについて議論します：多分析者研究は、大規模な観察データに基づいて研究の再現性と信頼性を評価しようとします。これらの研究では、多くの分析者が同じデータを使用して同じ研究質問に答えようとします。重要なアイデアは、結果のばらつきが大きいほど、研究質問に対する回答の不確実性が高くなるため、個々の研究結果の信頼性が低下するということです。個別の再現性と比較して、多くの分析者の群れは不確実性とその源をより体系的に調査することを可能にします。しかし、多分析者研究はリソースを大量に消費するため、信頼できる評価を提供する能力についていくつかの疑念があります。私たちは、すべての多分析者研究が対処すべき3つの問題を特定します：1) 結果のばらつきの源を特定すること；2) 標準研究に類似したインセンティブ構造を提供すること；3) 結果の適切なメタ分析を実施すること。私たちは、最近のいくつかの多分析者研究がこれらの問題に満足のいく形で対処できず、その結果、科学の信頼性の過度に悲観的な評価を提供したと主張します。また、今後の多分析者研究がより建設的な評価を提供するための具体的なガイダンスも提供します。