基于层相关传播的非线性分类器决策的像素级解释

理解和解释自动图像分类系统的分类决策在许多应用中具有很高的价值，因为它允许验证系统的推理，并为人类专家提供额外信息。尽管机器学习方法在解决众多任务方面非常成功，但在大多数情况下，它们的缺点是充当黑箱，没有提供任何信息来说明它们是如何得出特定决策的。本研究提出了一种解决理解分类决策问题的通用方案，通过对非线性分类器进行像素级分解。我们引入了一种方法，可以可视化单个像素对基于核的分类器在词袋特征和多层神经网络中的预测贡献。这些像素贡献可以被可视化为热图，并提供给人类专家，专家可以直观地验证分类决策的有效性，并进一步关注潜在感兴趣区域的分析。我们在PASCAL VOC 2009图像、包含几何形状的合成图像数据、MNIST手写数字数据集以及作为Caffe开源包一部分的预训练ImageNet模型上评估了我们的方法。