EGSDE：通过能量引导的随机微分方程进行非配对图像到图像的转换

基于评分的扩散模型（SBDMs）在非配对图像到图像转换（I2I）中取得了SOTA FID结果。然而，我们注意到，现有方法完全忽视了源领域中的训练数据，导致非配对I2I的次优解。为此，我们提出了能量引导的随机微分方程（EGSDE），该方法使用在源和目标领域上预训练的能量函数来引导预训练SDE的推理过程，以实现真实且可信的非配对I2I。在两个特征提取器的基础上，我们仔细设计了能量函数，使其鼓励转移图像保留领域独立特征并丢弃领域特定特征。此外，我们提供了EGSDE作为专家产品的另一种解释，其中三个专家（对应于SDE和两个特征提取器）各自单独贡献于真实性或可信度。在实证研究中，我们将EGSDE与三个广泛采用的非配对I2I任务下的大量基线进行了比较，使用了四项指标。EGSDE不仅在几乎所有环境中始终优于现有基于SBDMs的方法，还在不损害可信度性能的情况下实现了SOTA真实性结果。此外，EGSDE允许在真实性和可信度之间进行灵活的权衡，我们通过调整超参数进一步改善了现实结果（例如，Cat to Dog的FID为51.04，Wild to Dog的FID为50.43在AFHQ上）。代码可在https://github.com/ML-GSAI/EGSDE获取。