Answers are grounded in this paper and cite their sources.
针对卫星与无人机影像在尺度、视角及模态间存在显著差异所带来的匹配挑战,本文提出一种融合KL散度互学习机制与三重注意力模块的ConvNeXt端到端跨模态匹配方法。本方法以ConvNeXt为骨干网络,并在其中引入空间-通道-方向三重注意力,以提升对尺度、旋转等几何形变的鲁棒性,同时强化对方向性结构的建模能力。同时,通过KL散度引导不同模态分支进行互学习,有效对齐卫星图与无人机图的特征分布,缓解由视角差
针对卫星与无人机影像在尺度、视角及模态间存在显著差异所带来的匹配挑战,本文提出一种融合KL散度互学习机制与三重注意力模块的ConvNeXt端到端跨模态匹配方法。本方法以ConvNeXt为骨干网络,并在其中引入空间-通道-方向三重注意力,以提升对尺度、旋转等几何形变的鲁棒性,同时强化对方向性结构的建模能力。同时,通过KL散度引导不同模态分支进行互学习,有效对齐卫星图与无人机图的特征分布,缓解由视角差异引发的模态偏移。在University-1652上,本方法在双向检索均取得较高精度:Drone→Satellite的R@1/AP为89.40%/90.98%,Satellite→Drone为93.44%/89.33%。相对ConvNeXt-Tiny,R@1/AP分别相对提升2.21%/1.80%(Drone→Satellite)与2.19%/2.73%(Satellite→Drone);较近期代表方法(TransFG,GeoFormer)亦有小幅优势,与近几年部分算法相比仍具有竞争力。消融表明:三重注意力与KL互学习分别带来4.13%和3.55%的R@1增益。效率方面,在统一协议下单卡推理(bs=1)延迟20.83 ms,峰值显存0.53 GB;同图多目标设置中,K=5时V-Rate@5=97.7%。综上,在保证实时性的同时,方法显著提升跨模态检索精度与几何稳健性,具备工程可部署性,并能在同图多目标场景下有效抑制干扰候选,适用于无人机视觉导航与地理定位等应用。
No takes yet. Share an insight, caveat, or question.
Long et al. (2025) studied this question.
Synapse has enriched 10 related papers. Consider them for comparative context: