机器学习帮助研究人员评估临床试验中的偏倚：一项前瞻性、随机的用户研究

目的：在进行系统评价时，评估随机对照试验（RCT）中的偏倚风险是一项重要但繁琐的任务。RobotReviewer（RR），一个开源机器学习（ML）系统，半自动化偏倚评估。我们进行了RobotReviewer的用户研究，评估工具节省的时间和可用性。材料与方法：系统评价者使用Cochrane偏倚风险工具对四篇随机选择的RCT文章进行评估。评价者判断：每个偏倚领域在Cochrane工具（版本1）中，RCT是低风险还是高/不明确风险；并突出显示支持他们决策的文章文本。对于四篇文章中的两篇，过程是半自动化的：用户获得ML推荐的偏倚判断和文本突出显示。如果需要，参与者可以修改建议。我们测量了任务所用时间、ML建议、通过系统可用性评分（SUS）的可用性，并收集了定性反馈。结果：在41名志愿者中，半自动化的速度快于手动评估（平均755秒对824秒；相对时间0.75，95%CI 0.62-0.92）。评价者接受了301/328（91%）的ML偏倚风险（RoB）判断，和202/328（62%）的文本突出显示而没有改变。总体而言，ML建议的文本突出显示相对于用户的最终版本具有0.90（SD 0.14）的召回率和0.87（SD 0.21）的准确率。评价者给该系统的平均SUS评分为77.7，属于“良好”和“优秀”之间。结论：半自动化（人类验证机器学习建议）可以提高证据综合的效率。我们的系统在可用性上得分很高，并加快了RCT的偏倚评估。