检测和避免可能的假阳性发现 - 实用指南

摘要 最近人们越来越关注许多已发表的研究发现无法在尝试复制它们时保持一致。我们认为，这个问题可能源于一种文化，即‘如果你发现了显著效应，就可以发表’。这种文化对零假设造成了系统偏见，使得荟萃分析变得可疑，甚至可能导致假设变得难以伪证。为了 pinpoint 错误来源和可能的解决方案，我们回顾了当前的科学实践及其对得出假阳性结论概率的影响。我们解释了为什么已发表的假阳性结果的比例预计会随着 ( i ) 样本量的减少，( ii ) 对新颖性的追求增加，( iii ) 各种形式的多重测试和研究者灵活性，以及 ( iv ) 不正确的 P 值而增加，尤其是由于未考虑的伪复制，即数据点的非独立性（聚类数据）。我们提供了示例，展示了统计陷阱和心理陷阱如何导致偏见和不可靠的结论，并展示了如何避免这些错误。最终，我们希望为‘如果你的研究是严谨的，就可以发表’的文化做出贡献。为此，我们强调了一些使科学更客观的有前景的策略。具体来说，我们热情地鼓励科学家预注册他们的研究（包括先验假设和完整的分析计划），在数据收集和分析过程中对观察者保持盲测，且无条件报告所有结果。此外，我们主张将一些精力从寻求新颖性和发现转移到复制自己和他人的重要研究发现，以利于整个科学社区。我们相信，这些努力将通过对评估标准的转变得到支持，即从当前几乎专门重视‘影响’的指标转向明确重视科学严谨性指标的系统。