知识蒸馏(KD)是一种重要的技术,用于在资源受限设备上部署深度神经网络(DNN),通过将知识从大型教师模型转移到轻量级学生模型。虽然来自第三方平台的教师模型可能会经过安全验证(例如,后门检测),但我们发现了一种新颖且重要的威胁:蒸馏条件下的后门攻击(DCBAs)。DCBA将潜在的、不可检测的后门注入教师模型,并在学生模型中通过KD过程激活,即使使用干净的蒸馏数据集。虽然现有方法的直接扩展对DCBA无效,但我们通过将其形成双层优化问题来实现这一攻击,并提出了一种简单而有效的方法(即SCAR)。具体来说,内层优化通过优化一个替代的学生模型来模拟KD过程,而外层优化则利用该替代模型的输出优化教师模型,以植入条件后门。我们的SCAR使用隐式微分算法和预优化的触发器注入函数来处理这一复杂优化。在各种数据集、模型结构和KD技术下的广泛实验验证了我们的SCAR的有效性及其对现有后门检测的抵抗力,突显了KD过程中一个重要但被忽视的脆弱性。我们的代码可在 https://github.com/WhitolfChen/SCAR 获取。
Chen等(Sun,)研究了这个问题。