欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023108763433
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,包括以下步骤:S1、将全部N张高光谱图像数据构成数据集D,将数据集D划分为训练集Dtrain和测试集Dtest;

S2、利用空谱联合注意力模块为高光谱图像的每个波段赋予重要性权重;

S3、构建可保留空间分辨率的高光谱图像重构网络,学习高光谱图像的低维特征;

S4、将低维特征输入到金字塔池化双注意力轻量化残差分类网络,计算得到最终的分类结果;

所述S2包括以下子步骤:

H×W×C

S21、取单幅原始高光谱图像,定义为X∈R ,其中W、H、C分别代表原始图像的长、宽、波段数量;

S22、将该原始图像输入到空谱联合注意力模块计算各波段的权重,该原始图像在空谱联合注意力模块中,首先使用步长为2的局部平均池化操作和局部最大池化操作,将原始图像X处理为中间特征图Flap和Flmp,两个特征图的维度均为(H/2)×(W/2)×C;将Flap和Flmp对应通道相加,得到一次融合特征图M1,并使用一个1×1大小的卷积核进行对M1二维卷积操作,得到二次融合特组图M2,其维度为(H/2)×(W/2)×C,其表达式为:其中,Conv2D表示2维卷积操作, 代表通道相加;

S23、对M2进行光谱注意力操作,先使用全局平均池化将M2变为1×1×C特征向量V,然后使用长度为3的卷积核对向量w进行一维卷积操作,得到重要性权重w1,其表达式为:w1=Conv1D(GAP(M2)); (2)

其中,Conv1D表示一维卷积层,GAP表示全局平均值池化;

S24、对w1使用sigmod函数进行处理,得到数值大于等于零的最终权重向量w2,其维度为1×1×C,其表达式为:S25、使用通道级乘法操作,将原始图像的C个波段分别与最终权重向量w2的C个元素相H×W×C乘,得到加权后的高光谱图像X’∈R ;

利用高光谱图像重构网络进行低维特征学习的过程包括以下子步骤:

S31、将加权后的图像X’分割为11×11×C的小块图像Z,小块图像的数量为S,将单个图

11×11×C 11×11×64 11

像输入编码器,经过四个卷积层依次生成四组特征图:Z1∈R ,Z2∈R ,Z3∈R×11×32 11×11×16,Z4∈R ,S张小块图像共得到S组Z4特征图;

S32、特征图Z4经过反卷积层2D‑Decon1得到第一组重构图 与Z3进行通道级相加,再经过反卷积层2D‑Decon2得到第二组重构图 与Z2进行通道级相加,再经过反卷积层2D‑Decon3得到第三组重构图 与Z1进行通道级相加,得到最终的重构图S33、以式(4)所示的均方误差 作为损失函数,迭代训练高光谱图像重构网络,完成低维特征学习, 表达式为:其中,Zl代表第l个小块图像,代表第l个最终的重构图;

所述金字塔池化双注意力轻量化残差分类网络包括金字塔池化双注意力模块和轻量化残差分类模块,所述金字塔池化双注意力模块包括4级空间金字塔模块、空间注意力模块和光谱注意力模块;

所述4级金字塔模块包括4个并联通道SP1~SP4,每个通道由2维自适应平均池化模块和大小为1×1的2维卷积模块串联组成,SP1~SP4中的2维自适应平均池化的步长分别为1×1、2×2、3×3、6×6;所述空间注意力模块包括上采样子模块和位置注意力子模块,上采样子模块为大小为1×1的反卷积模块,位置注意力子模块采用现有的PAM模块;所述光谱注意力模块由现有的CAM模块构成;

所述轻量化残差分类模块包括8个2维卷积层conv1~conv8和一个多通道卷积层mulconv,conv1~conv8的卷积核大小均为3×3;mulconv由四个分支组成,分支一包括三个卷积模块:mulconv11、mulconv12、mulconv13,其中mulconv11是卷积核大小为1×1的2维卷积,mulconv12是卷积核大小为3×3的2维卷积,mulconv13是两个并联的轻量化卷积,卷积核分别为1×3和3×1,分支二包括两个卷积模块:mulconv21、mulconv22,其中mulconv21是卷积核大小为1×1的2维卷积,mulconv22是两个并联的轻量化卷积,卷积核分别为1×3和3×1;分支三包括两个模块:mulmp31、mulconv32,其中mulmp31是步长为2的最大池化,mulconv32是卷积核大小为1×1的2维卷积,分支四包括1个卷积模块mulconv41,是卷积核大小为1×1的2维卷积。

2.根据权利要求1所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,在S3中,所述高光谱图像重构网络包括编码器和解码器两大部分,其中编码器包括四个卷积层,分别为2D‑Conv,2D‑Conv1,2D‑Conv2,2D‑Conv3,其对应的卷积核大小分别为1×1,3×3,3×3,3×3;解码器包括3个反卷积层,分别为D‑Deconv1,2D‑Deconv2,2D‑Deconv3,其对应的卷积核大小分别为3×3,3×3,3×3。

3.根据权利要求2所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,将S组特征图Z4分别单独输入到金字塔池化双注意力轻量化残差分类网络中,每组特征图Z4在该网络中的具体过程为:特征图Z4分别输入到4级空间金字塔模块和光谱注意力模块中,在4级空间金字塔模块中,经过SP1~SP4的自适应平均池化操作后,输出4组特征图F11~F14,维度均为6×6×16;F11~F14再分别经过1×1的2维卷积模块进行非线性变换,输出四组新的特征图F21~F24,其维度均为6×6×4,再将F21~F24进行通道维度的拼

6×6×16

接,得到空间金字塔的输出特征图F3∈R ;将输出特征图F3输入到空间注意力模块中,进行反卷积得到维度为11×11×16的特征图F4,PAM模块对F4进行空间注意力操作,得到空

11×11×16

间注意力特征F51∈R ;在光谱注意力模块中,首先对Z4进行光谱注意力操作,得到光

11×11×16

谱注意力特征F52∈R ,将空间注意力特征F51和光谱注意力特征F52进行通道级相

11×11×16

加,得到处理后的特征图F6∈R ;

S组特征图Z4共得到S张特征图F6,将S张特征图F6分别单独输入到轻量化残差分类模块中,每张特征图F6在该模块中的具体过程为:特征图F6经过conv1~conv8的卷积操作输出

11×11×128 11

特征图F7∈R ,将F7输入到mulconv中,四个分支分别输出四组特征图F81∈R×11×192 11×11×192 11×11×192 11×11×192、F82∈R 、F83∈R 、F84∈R ,经过通道拼接变为一组特征图F9∈

11×11×512

R ,最后,使用全局平均池化操作,将F9压缩为1×512维度的输出特征向量F10,使用softmax分类器计算输出特征向量对每个类别的判别概率,得到一个部分分类结果,S张特征图共得到S个部分分类结果,S个部分分类结果共同构成最终的分类结果。

4.根据权利要求3所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,所述分类结果为向量形式,向量元素数量为需要识别的目标类别数量,向量第k个元素的数值为待识别样本被判别为第k个类别的概率值。