自然图像质量常常受到恶劣天气条件的影响，显著削弱下游任务的性能。图像恢复已成为应对这一挑战的核心解决方案，并已在文献中广泛讨论。尽管最近基于变换器的方法在图像恢复方面取得了显著进展，但其日益增强的系统复杂性为实时处理带来了重大挑战，特别是在实际部署场景中。为此，大多数现有方法试图简化自注意力机制，如通过通道自注意力或状态空间模型。然而，这些方法主要关注网络架构，而忽视了图像恢复本身的内在特征。在此背景下，我们探索了一种金字塔小波-傅里叶迭代管道，以展示小波-傅里叶处理在图像恢复中的潜力。受到上述发现的启发，我们提出了一种新颖且高效的恢复基线，称为金字塔小波-傅里叶网络（PW-FNet）。具体而言，PW-FNet具有两个关键设计原则：1）在块间层面，集成基于金字塔小波的多输入多输出结构，以实现多尺度和多频带的分解；2）在块内层面，采用傅里叶变换作为自注意力机制的高效替代，有效减少计算复杂性，同时保持全局建模能力。在图像降雨、雨滴去除、图像超分辨率、运动模糊去除、图像去雾、图像消雪和水下/低光增强等任务上的大量实验表明，PW-FNet不仅在恢复质量上超过了最先进的方法，还在参数规模、计算成本和推理时间上显著提高了效率。代码可在以下地址获得：https://github.com/deng-ai-lab/PW-FNet.
蒋等（周四）研究了这个问题。