基于窗口移位注意力的两阶段掩码引导汽车表面高光去除网络

目的镜面反射会干扰视觉感知系统，降低目标检测和三维重建等任务的性能。尽管现有高光去除方法已有进展，但大多依赖合成数据训练，难以有效处理真实场景中的反射。针对这一问题，本文构建了多光照条件下的汽车高光数据集，并提出掩码引导的高光去除网络（Mask Guided Transformer Unet，MG-TransUnet），显著提升高光去除效果。方法首先，本文构建了汽车高光数据集，覆盖多种光照条件及不同强度、分布的高光图像对，并提供高光掩码。并且提出协同优化的两阶段网络架构，第一阶段采用轻量级U形网络（U-shaped network，U-Net）实现高光检测，生成高光区域掩码；第二阶段将掩码作为空间先验，指导基于改进型窗口移位注意力（Shifted Window Attention Transformer，SWAT）的U-Net高光去除网络。通过端到端联合训练，实现检测与去除网络的参数协同优化。结果本文在自建数据集和三个公开数据集（PSD、SHIQ、SSHR）上进行了系统评估，与8种最先进方法进行对比。在PSD数据集上，本方法以26. 37dB的峰值信噪比（pe-ak signal-to-noise ratio，PSNR）位列第二；在SHIQ数据集上以35. 24dB的PSNR值优于第二名（34. 13dB）1. 11dB；在SSHR数据集上以36. 54dB的PSNR值领先第二名（36. 16dB）0. 38dB；在自建数据集上以25. 14dB的PSNR值优于第二名（25. 03dB）0. 11dB。此外，消融实验表明掩码引导网络和SWAT模块均能提升高光去除性能。结论本文构建了面向真实场景的汽车高光数据集，提出了基于窗口移位注意力机制的掩码引导网络（MG-TransUNet）。实验证明，本文方法在自建数据集上性能达到最优，并在多个公开数据集上取得了具有竞争力的表现。代码地址：https：//github. com/chenWULUQI/MG-TransUnet