CTCNet：用于人脸图像超分辨率的 CNN-Transformer 协同网络

近年来，基于深度卷积神经网络（CNN）的人脸超分辨率方法通过结合人脸先验进行联合训练，在恢复退化的人脸细节方面取得了巨大进展。然而，这些方法存在一些明显的局限性。一方面，多任务联合学习需要对数据集进行额外标注，且引入的先验网络会显著增加模型的计算成本。另一方面，CNN 受限的感受野会降低重建人脸图像的保真度与自然度，导致重建图像效果欠佳。在这项工作中，我们提出了一种用于人脸超分辨率任务的高效 CNN-Transformer 协同网络（CTCNet），该网络采用多尺度连接的编码器-解码器架构作为骨干网络。具体而言，我们首先设计了一种新颖的局部-全局特征协同模块（LGCM），该模块由面部结构注意力单元（FSAU）和一个 Transformer 块组成，以同时提升局部人脸细节和全局人脸结构恢复的一致性。随后，我们设计了一个高效的特征细化模块（FRM）来增强编码特征。最后，为了进一步改善精细人脸细节的恢复，我们提出了一种多尺度特征融合单元（MFFU），以自适应融合编码器过程中不同阶段的特征。在多种数据集上的广泛评估表明，所提出的 CTCNet 能够显著优于其他最先进的方法。源代码可在 https://github.com/IVIPLab/CTCNet 获取。