Les causes de la crise de la reproductibilité incluent le manque de standardisation et de transparence dans le rapport scientifique. Des listes de contrôle telles que ARRIVE et CONSORT cherchent à améliorer la transparence, mais elles ne sont pas toujours suivies par les auteurs et la révision par les pairs ne parvient souvent pas à identifier les éléments manquants. Pour aborder ces problèmes, plusieurs outils automatisés ont été conçus pour vérifier différents critères de rigueur. Nous avons effectué une large comparaison de 11 outils automatisés sur 9 critères de rigueur différents du groupe ScreenIT. Nous avons trouvé certains critères, y compris la détection des données ouvertes, où la combinaison d'outils a montré un gagnant clair, un outil qui a fonctionné beaucoup mieux que d'autres outils. Dans d'autres cas, y compris la détection des critères d'inclusion et d'exclusion, la combinaison d'outils a dépassé la performance de tout outil unique. Nous avons également identifié des domaines clés où les développeurs d'outils devraient concentrer leurs efforts pour rendre leur outil maximement utile. Nous concluons avec un ensemble d'idées et de recommandations pour les parties prenantes dans le développement des outils de détection de rigueur et de transparence. Le code et les données de l'étude sont disponibles sur https://github.com/PeterEckmann1/tool-comparison.
Eckmann et al. (Mer,) ont étudié cette question.