双时相特征增强引导的多关系差异耦合遥感变化字幕生成

目的针对遥感变化字幕生成任务中关键变化区域表征不足、双时相差异关系建模不充分以及模型复杂度较高等问题，提出了一种双时相特征增强引导的多关系差异耦合遥感变化字幕生成方法。方法采用基于残差网络50（residual network-50，RN50）的RemoteCLIP，即RemoteCLIP-RN50，提取双时相遥感影像深层语义特征，在此基础上，通过双时相特征增强策略对关键变化区域和重要语义通道进行自适应强化；随后构建多关系差异耦合框架，对双时相原始特征、绝对差异、乘积交互和相似性信息进行关系建模，以增强变化语义表达能力，最后利用文本解码器实现变化描述语句生成。结果在LEVIR-CC数据集上的实验结果表明，所提方法取得了83.62的双语评估替补指标（bilingual evaluation understudy，BLEU）-1、60.22的BLEU-4、64.94的基于最长公共子序列的面向召回摘要评估指标（recall-oriented understudy for gisting evaluation-longest common subsequence，ROUGE-L）和128.58的基于共识的图像描述评估指标（consensus-based image description evaluation，CIDEr）。其中BLEU-1和CIDEr优于对比方法；同时，本文方法参数量为41.50M，低于多种经典及近年代表方法，体现出较好的性能—复杂度平衡。在DUBAI-CC数据集上的补充实验中，本文方法取得了63.75的BLEU-1、34.14的BLEU-4、56.62的ROUGE-L和90.09的CIDEr，其中BLEU-4、ROUGE-L和CIDEr均取得最优结果，说明所提方法具有一定跨数据集适用性。消融实验表明，双时相特征增强策略和多关系差异耦合单元均能有效提升变化描述性能；进一步的关系项协同实验表明，在双时相特征增强后，完整多关系耦合在BLEU-1、ROUGE-L和CIDEr上取得最佳效果，说明特征增强有助于提升不同差异关系信息之间的互补表达能力。结论本文方法围绕双时相变化表征过程开展针对性设计，在保持模型结构相对简洁的前提下有效提升了遥感变化字幕生成性能，并在不同数据集上表现出较好的适用性。