背景:经验软件工程界推进了实验实践,但受控实验的报告仍缺乏足够的严谨性,影响了透明度和可重复性。注册报告(Registered Reports,简称 RR)在数据收集之前预先注册假设、方法和分析方案,已被提出用于缓解 p-hacking、发表偏倚和未计划的事后分析等问题。目的:本文介绍了使用 Open Science Framework 构建软件工程受控实验 RR 模板的早期成果。我们探讨了当前 OSF RR 类型与 SE 实验指南的一致性,并指出了在未来综合模板中需要解决的差距。方法:我们结合已确立的受控实验文档指南,分析了选定的 OSF RR 类型。结果:一种 RR 类型与若干指南要素表现出高度一致,但没有哪个 OSF 模板能提供完全覆盖。我们还发现了 OSF 在支持自定义 RR 结构方面的局限性。结论:尽管 RR 为实现更严谨、更具可重复性的实验提供了一条充满前景的路径,但现有的 OSF RR 类型尚未完全满足 SE 的需求。因此,制定专门针对 SE 的 RR 指南至关重要。
Bett et al. (Wed,) 对该问题进行了研究。