通过影响函数理解黑箱预测

我们如何解释黑箱模型的预测？在本文中，我们使用影响函数——一种来自稳健统计的经典技术——来追踪模型的预测，经过学习算法返回到其训练数据，从而识别出对给定预测最负责任的训练点。为了将影响函数扩展到现代机器学习环境，我们开发了一种简单、高效的实现，仅需访问梯度和海森-向量的乘积。我们表明，即使在理论失效的非凸和非可微模型上，影响函数的近似仍然能提供有价值的信息。在线性模型和卷积神经网络上，我们展示了影响函数在多个方面的实用性：理解模型行为、调试模型、检测数据集错误，甚至创建视觉上无差别的训练集攻击。