1.一种基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:包括以下步骤:
S1:构建机器学习架构,所述机器学习架构由映射层、Transformer网络以及分类头模块组成;其中:映射层用于对嵌入层输出的数据S进行映射操作;
Transformer网络用于对映射后的数据S的光谱空间特征进行提取;其中,所述Transformer网络由1个特征提取器、1个特征融合块LGF以及两个patch merging模块构成,特征提取器包括3个Swin Transformer块和1个Transformer块,其中:第一个Swin Transformer块用于将数据S进行提取局部特征处理以得到局部特征X;
位于第一个Swin Transformer块与第二个Swin Transformer块之间的patch merging模块用于将第一个Swin Transformer块输出的局部特征X中的每组2×2大小的相邻块的特征连接起来,并对连接后的特征在维度 上进行线性分层使其维度变为C实现降采样;
第二个Swin Transformer块用于对位于第一个Swin Transformer块与第二个Swin Transformer块之间的patch merging模块输出的特征进行特征转换,以得到深层局部特征;
Transformer块用于将深层局部特征处理以得到全局特征;
特征融合块LGF用于将全局特征以及深层局部特征进行初步特征融合,得到局部全局初步融合特征;所述特征融合块LGF的融合机制计算公式,如式(1)所示: (1)
式(1)中, 表示经过特征融合块LGF的融合机制的融合表示, 表示第二个Swin Transformer块输出的深度局部特征, 表示Transformer块输出的全局特征, 是融合函数;
位于Transformer块与第三个Swin Transformer块之间的patch merging模块用于将局部全局初步融合特征进行降采样;
第三个Swin Transformer块用于将位于Transformer块与第三个Swin Transformer块之间的patch merging模块输出的特征进行深层次融合,得到局部全局融合光谱特征;
分类头模块用于对Transformer网络提取的光谱空间特征进行分类;
S2:获取高光谱数据集,并从高光谱数据集获得训练集和测试集;
S3:训练机器学习架构结构,具体包括如下步骤:
S3‑1:将高光谱数据集中图像输入至嵌入层,设置分割单元大小,将图像的边缘部分使用镜面映射进行补齐,将图像中每个像素点按分割单元大小进行划分,而后再映射进入特征空间,得到数据S;
S3‑2:将数据S输入至Transformer网络以获得局部全局融合光谱特征;
S3‑3:构建损失函数,然后利用损失函数计算机器学习架构的总损失,然后优化梯度并反向传播,更新机器学习架构的模型参数;
S3‑4:重复步骤S3‑2至S3‑3,每次完成一个训练段后,使用特征提取器提取测试数据集Te特征,实现分类,得到预测的图像分类结果,而后根据图像分类结果与测试数据集Te的标签比对,得出测试精度;如果测试精度大于上一个训练结果则保存当前机器学习架构各层的参数,输出机器学习架构的模型参数;若测试精度小于上一训练段结果,则不保存当前网络参数,继续进行下一个训练段,当训练迭代次数达到预设次数时,结束整个机器学习架构的网络训练;保留在测试集上精度最高的网络模型参数作为最终训练结果,输出机器学习架构的模型和分类精度;
S4:利用测试集对步骤S3得到的训练好的机器学习架构模型进行测试,获取图像分类结果。
2.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤S1中,映射层对嵌入层输出的数据S进行映射操作后,经映射后的数据S的数据维度为5×5×96。
3.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:特征融合块LGF由依次连接的二维卷积层、二维池化层以及二维卷积层组成。
4.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:第一个Swin Transformer块、第二个Swin Transformer块和第三个Swin Transformer块的结构相同;所述Swin Transformer块中的W‑MSA模块、SW‑MSA模块的注意力机制以及Transformer块中的MSA模块的注意力机制均如公式(2)所示: (2)
式(2)中,Q代表的是查询矩阵、K代表的是键矩阵、V代表的是值矩阵;d是查询维度或者键维度,KT表示键矩阵K的转置。
5.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤S2中,所述高光谱数据集是将Indian Pines数据集中的第104‑108个波段、第150‑163个波段以及第220个波段的剔除之后得到的数据集。
6.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤 S3‑1的具体步骤为:S3‑1‑1:将高光谱数据集中图像输入至嵌入层,并设置分割单元为5;
S3‑1‑2:对输入的图像的边缘数据进行镜面翻转,然后将像素进行(分割单元‑1)/2倍大小的扩展,即扩展2个像素,对输入的图像进行补齐;
S3‑1‑3:对输入的图像按分割单元大小进行划分,获得patch输入,然后将patch输入划分训练集和测试集;
S3‑1‑4:将patch输入映射至特征空间,得到数据S,数据S作为模型的输入预备。
7.根据权利要求6所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤S3‑1‑3中,将patch输入划分训练集和测试集的方式为:将patch输入中的Corn Notill类别中随机的50个样本、Corn Mintill 类别中随机的50个样本、Corn类别中随机的50个样本、Grass Pasture类别中随机的50个样本、Grass Trees类别中随机的50个样本、Hay Windrowed类别中随机的50个样本、Soybean Notill类别中随机的50个样本、Soybean Mintill类别中随机的50个样本、Soybean Clean类别中随机的50个样本、Wheat类别中随机的50个样本、Woods类别中随机的50个样本、Buildings Grass Trees Drives类别中随机的50个样本、Stone Steel Towers类别中随机的50个样本、Alfalfa类别中随机的
15个样本、Grass Pasture Mowed类别中随机的15个样本以及Oats类别中随机的15个样本划分为训练集;将patch输入中的Corn Notill类别中随机的1384个样本、Corn Mintill 类别中随机的784个样本、Corn类别中随机的184个样本、Grass Pasture类别中随机的447个样本、Grass Trees类别中随机的694个样本、Hay Windrowed类别中随机的439个样本、Soybean Notill类别中随机的918个样本、Soybean Mintill类别中随机的2418个样本、Soybean Clean类别中随机的564个样本、Wheat类别中随机的162个样本、Woods类别中随机的1244个样本、Buildings Grass Trees Drives类别中随机的330个样本、Stone Steel Towers类别中随机的45个样本、Alfalfa类别中随机的39个样本、Grass Pasture Mowed类别中随机的11个样本以及Oats类别中随机的5个样本划分为测试集。
8.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤S3‑2的具体步骤包括:S3‑2‑1:将数据S输入至Transformer网络的第一个Swin Transformer块获取局部特征X;
S3‑2‑2:将局部特征X输入至第一个Swin Transformer块与第二个Swin Transformer块之间的patch merging模块进行降采样,然后将该上述降采样得到的特征输入至第二个Swin Transformer块得到深层局部特征;
S3‑2‑3:将深层局部特征输送至Transformer块,得到全局特征;
S3‑2‑4:将步骤S3‑2‑3得到的全局特征以及步骤S3‑2‑3得到的深层局部特征输入至特征融合块LGF进行初步特征融合,得到局部全局初步融合特征;
S3‑2‑5:将局部全局初步融合特征输入送至第三个Swin Transformer块与Transformer块之间的patch merging模块进行降采样;然后将该上述降采样得到的特征输入至第三个Swin Transformer块进行深层次融合,得到局部全局融合光谱特征。
9.根据权利要求1所述的基于机器学习及局部和全局特征融合的遥感图像分类方法,其特征在于:步骤S3‑3中,在以交叉熵为损失函数的Transformer网络模型中选用ReLU作为激活函数,交叉熵损失函数用于评估当前训练得到的概率分布与真实分布的差异情况,交叉熵损失函数的计算公式,如式(3)所示: (3)
式(3)中, 为交叉熵损失函数,F是训练集经特征提取器提取得到的特征,Label表示与训练集经特征提取器提取得到的特征相对应的真实分布。