模态可靠性建模的航空遥感可见光-红外目标检测

目的航空遥感可见光与红外（red-green-blue and infrared， RGB-IR）目标检测中，不同模态对检测任务的贡献会随成像条件动态变化。现有方法虽能在一定程度上利用条件信息调节模态融合，但对与模态可靠性直接相关的质量属性的显式建模仍然不足，难以根据成像条件变化自适应调节不同模态对检测任务的贡献。针对上述问题，本文提出一种基于模态可靠性建模的航空遥感RGB-IR目标检测方法，通过语义先验蒸馏引导检测网络学习检测导向的模态可靠性表征，并实现可见光与红外模态的自适应融合。方法首先，构建面向无人机场景的模态质量属性描述数据集，对影响检测性能的关键成像因素进行结构化表达。然后，利用视觉语言模型对属性描述文本进行编码，形成与模态可靠性相关的语义先验，并通过训练阶段的蒸馏监督与属性监督，引导检测网络学习检测导向的模态可靠性表征。最后，从场景级全局可靠性和位置级局部空间可靠性两个层面联合建模可见光与红外模态的有效性，实现面向目标检测的动态自适应融合。结果在DroneVehicle和VEDAI两个公开RGB-IR数据集上，所提方法均取得了较优性能。其中，在DroneVehicle上的mAP@0.5和mAP@0.5：0.95分别达到79.7%和53.7%；在VEDAI上分别达到67.1%和30.1%，并在夜间、弱光及复杂干扰场景下表现出更好的检测精度与鲁棒性。消融实验进一步验证了模态质量属性建模、语义先验蒸馏和全局-局部模态可靠性联合建模的有效性。结论所提方法能够以较低开销将视觉语言模型的模态质量感知能力迁移至检测网络内部，在无需测试阶段额外引入大模型分支的条件下，有效建模复杂成像条件下的模态可靠性变化，提升航空遥感红外与可见光目标检测的精度与鲁棒性。