FusAtNet：基于双重注意力的光谱空间多模态融合网络用于高光谱和激光雷达分类

随着传感技术的最新进展，多模态数据变得越来越容易获取，尤其是在遥感（RS）领域，许多数据类型如多光谱影像（MSI）、高光谱影像（HSI）、激光雷达等都可用。这些多源数据集的有效融合变得越来越重要，因为这些多模态特征已被证明可以生成高度准确的土地覆盖图。然而，在遥感的背景下进行融合并不是一件简单的事情，因为数据的冗余性和多个模态之间的领域差异较大。此外，不同模态的特征提取模块几乎不相互交互，这进一步限制了它们的语义相关性。对此，我们提出了一个特征融合和提取框架，即FusAtNet，旨在对HSI和激光雷达数据进行集体土地覆盖分类。该框架有效利用HSI模态，通过“自注意力”机制生成一个注意力图，突出其自身的光谱特征。同时，采用“交叉注意力”方法，利用激光雷达生成的注意力图，强调HSI的空间特征。这些关注的光谱和空间表示随后与原始数据一起进一步探索，以获得特定模态的特征嵌入。因此，所获得的面向模态的联合光谱空间信息被用于进行土地覆盖分类。对三个HSI-LiDAR数据集的实验评估表明，所提出的方法在分类性能上达到了最先进水平，包括在最大的HSI-LiDAR数据集——休斯顿大学（数据融合竞赛 - 2013）上，开辟了多模态特征融合用于分类的新途径.