使用亚马逊机械土耳其人进行口语转录

我们研究了亚马逊的机械土耳其人（MTurk）服务是否可以作为一种可靠的口语数据转录方法。不同说话者人口统计特征（母语和非母语英语，男性和女性）的发言被发布在MTurk市场，并附上标准的转录指南。我们将这些转录与通过传统（手动）方式精心准备的转录进行了比较。我们发现，MTurk工人的转录通常非常准确。此外，当多个工人对同一句话产生的转录使用ROVER投票方案进行组合时，组合转录的准确性与传统转录方法相比不相上下。我们还发现，准确性对支付金额并不特别敏感，这意味着可以以传统方法的一小部分成本和周转时间获得高质量的结果。