具有正交切线正则性的多任务AET用于暗物体检测

暗环境由于光子不足和不良噪声为计算机视觉算法带来了挑战。为了增强暗环境中的物体检测，我们提出了一种新颖的多任务自动编码变换（MAET）模型，该模型能够探索光照转换背后的内在模式。MAET以自我监督的方式，通过对考虑物理噪声模型和图像信号处理（ISP）的真实光照降级变换进行编码和解码，学习内在视觉结构。基于这一表示，我们通过解码边界框坐标和类别来实现物体检测任务。为了避免两项任务的过度纠缠，我们的MAET通过施加正交切线正则性来解开物体和降级特征。这形成了一个参数流形，通过最大化相应任务输出之间切线的正交性来几何化地制定多任务预测。我们的框架可以基于主流物体检测架构实现，并使用普通目标检测数据集（如VOC和COCO）进行端到端直接训练。我们在合成和真实世界数据集上取得了最先进的性能。代码将在 https://github.com/cuiziteng/MAET 发布。