用于遥感图像字幕生成和检索的大型语言模型

图像字幕生成和跨模态检索是涉及视觉和语言信息联合分析的任务的例子。与遥感图像相关，这些任务可以帮助非专业用户提取相关的地球观测信息，以用于各种应用。尽管之前进行了一些尝试，但由于可用数据集和先前研究中使用的模型相对较小，视觉和语言模型在遥感领域的发展和应用受到了限制。在这项工作中，我们提出了RS-CapRet，一个用于遥感任务的视觉和语言方法，特别是图像字幕生成和文本-图像检索。我们特别建议使用一个具有高度能力的大型解码语言模型，并结合适应于遥感图像的图像编码器，通过对比语言-图像的预训练来实现。为了将图像编码器和语言解码器连接起来，我们建议使用来自组合不同遥感图像字幕生成数据集的示例进行简单线性层的训练，并保持其他参数固定。RS-CapRet随后可以为遥感图像生成描述，并从文本描述中检索图像，达到与现有方法竞争或SOTA的性能。定性结果表明，RS-CapRet能够有效利用预训练的大型语言模型来描述遥感图像，根据不同类型的查询检索它们，并且还展示了以对话方式处理交错的图像和文本序列的能力。