扩散模型中的记忆遗忘机制综述

扩散模型已迅速发展成为生成式视觉模型的主要范式。然而，模型所固有的记忆遗忘机制使得模型不自觉地记忆训练数据集中的敏感信息，进而加剧了图像领域的隐私安全和版权问题。尽管记忆与遗忘机制在语言模型领域已有深入研究，但在扩散模型这一视觉生成任务的核心技术中，仍缺乏系统性的综述。本综述旨在填补这一空白，具体从扩散模型的理论建模和模型架构的介绍，到模型记忆在非时序和时序扩散模型上的定义，对于模型记忆在扩散模型上的理解和对模型记忆在模型审计方和恶意攻击方两方面的量化方法，再到模型遗忘统一框架下差分隐私、提示词优化、模型遗忘的模型记忆缓解方法五个方面进行探讨，最后，本文展望了扩散模型中记忆-遗忘机制的未来发展方向，并重点指出了当前面临的关键挑战，包括隐私数据处理流水线和基准测试亟待规范，更符合扩散模型特性的模型记忆定义和模型遗忘算法，新学习场景的模型记忆-遗忘机制和垂直领域落地。