目的跨域分类是高光谱图像分类的主要挑战之一。结合域适应与少样本学习的跨域少样本学习(cross domain few shot learning,CDFSL)方法已广泛应用于跨域高光谱图像分类(cross domain hyperspectral image classification,CD-HIC)问题。由于光谱序列编码的复杂度和类间的光谱相似性,现有的CDFSL方法大多使用卷积神经网络(convolutional neural network, CNN)或其他优秀的空间特征提取器来获取空间信息,以提高分类精度。然而,提取空间特征通常伴随着地面物体分布和类别边界的扭曲。为解决该问题,本文提出了嵌入Transformer层的轻量型Res-3D-CNN(lightweight Res-3D-CNN with Transformer layer embedding,LRCT)作为CD-HIC的特征提取器。LRCT能在提取空间信息的同时获取光谱的长期依赖性,从而显著提高光谱特征方法的判别性能。方法CNN中的卷积(Conv)通过局部感受野的权重共享机制捕捉图像高频特征。而Transformer可通过自注意力机制建模特征间的长程依赖关系,并自适应聚焦关键区域。此外,Transformer表现出低通滤波特性,主要捕获图像的低频全局信息。基于Conv和Transformer的互补特性,将Transformer层嵌入Res-3D-CNN构建轻量型双流特征提取网络,分别对源域和目标域进行特征提取,通过CDFSL框架迁移源域通用特征,实现目标域少样本场景下的高精度分类。结果以 Chikusei 数据为源域, Indian Pines、Salinas和Pavia University为目标域进行验证。实验结果表明,在每类仅有5个标记样本时,目标域上的总体精度分别达到 71.01%、92.06%和84.14%。相较于主流的CDFSL方法,基于LRCT网络的CDFSL(LRCT network based CDFSL, LRCT-CDFSL)方法在各个目标域上均展现出更优的分类性能。结论LRCT-CDFSL结合了残差三维卷积神经网络(residual 3-dimensionl CNN,Res-3D-CNN)、Transformer网络、域适应和少样本学习方法的优势,使CD-HIC精度提升。
Lixia et al. (Thu,) studied this question.