通过众包评估自然语言处理中的显著性解释

深度学习模型在许多自然语言处理任务中表现良好。然而，它们的内部机制通常难以为人理解。开发解释模型的方法已成为深度学习模型在许多重要应用中可靠性的关键问题。各种显著性解释方法被提出，它们为输入的每个特征分配一个与输出贡献成比例的分数，以确定模型最重视的输入部分。尽管对显著性方法的评估已有相当多的研究，但不同评估指标的结果是否与人类认知一致仍然是一个未解的问题。在这项研究中，我们提出了一种新的基于人类的评估显著性方法，通过众包进行自然语言处理的评估。我们招募了800名众包工人，并使用所提方法在两个数据集上实证评估了七种显著性方法。我们分析了显著性方法的性能，将我们的结果与现有的自动化评估方法进行了比较，并确定在使用显著性方法时自然语言处理和计算机视觉领域之间的显著差异。我们众包实验的实例级数据和重现解释的代码可在 https://github.com/xtlu/lreccolingₑvaluation 获取。