欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022107202494
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:包括以下步骤:S1:选取两个高光谱数据集分别作为源域和目标域数据集,从源域数据集获取标记样本数据集SL;从目标域数据集获取标记样本数据集TL、软标签生成辅助数据集TU、测试数据集Te;

S2:利用目标域数据集的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签,使用部分软标签对应的未标记样本来扩展目标域标记样本数量;

S3:将源域数据集的标记样本数据集SL以及目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te映射为统一尺寸,并为源域数据集的标记样本数据集SL构建自监督学习任务;

S4:在深度学习框架下构建深度神经网络,在深度神经网络中加入无监督域适应模块;

S5:将源域数据集中的标记样本数据集SL,目标域数据集中的标记样本数据集TL和软标签生成辅助数据集TU送入深度神经网络训练得到综合损失Ltotal,根据综合损失更新深度神经网络参数,在整个训练过程采用元学习策略;

S6:预设一定数量的epoch作为一个训练段,在每次训练达到预设epoch数量后,将测试数据集Te送入特征提取器提取特征,将提取到的特征送入分类器得到预测的分类结果;通过将分类结果与测试数据集Te的标签比对,得测试精度;若测试精度大于上一个训练段结果的测试精度,保存当前深度神经网络各层的参数,输出深度神经网络分类模型;若测试精度小于上一训练段结果的测试精度,则不保存当前网络参数,继续进行下一个训练段,当达到所设训练迭代次数整个网络结束训练,输出深度神经网络分类模型。

2.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S2中,利用目标域数据集中的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签的步骤为:S2‑1:计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱角度匹配度;通过SAM计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱相似性,光谱向量 与 之间的SAM通过式(1)计算,结果用 表示:                             (1);

S2‑2:计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱空间距离,通过计算标记样本和未标记样本之间的欧式距离获得,欧式距离通过式(2)计算,光谱向量 与 之间的光谱空间距离也就是欧式距离用D表示:                               (2)式(2)中,m表示标记样本的数量;

S2‑3:计算软标签生成辅助数据集TU中所有未标记样本到未标记样本的各个类别c之间的距离,其中,未标记样本 到各个类别c之间的距离用η表示,η的计算公式如式(3)所示:                                 (3)S2‑4:获取未标记样本的软标签:将η归一化为一个概率分布,从而得到未标记样本的软标签,用 表示, 的计算公式如式(4)所示:                                        (4)式(4)中, 是归一化指数函数,使得每一个软标签数据的范围都在(0,1)之间,并且每个软标签中所有数据的和为1。

3.根据权利要求2所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S2中,使用部分软标签对应的未标记样本来扩展目标域标记样本数量的步骤为:首先,根据式(2)计算所有未标记样本和标记样本之间的光谱空间距离D,然后,从软标签生成辅助数据集TU中每个类别取与标记样本数据集TL距离最近的前20个样本用于扩展目标域数据集中的标记样本数据集TL,该20个样本即为部分软标签对应的未标记样本,而扩展之后的目标域标记样本数据集每类包括21个样本。

4.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S3中,为源域数据集中的标记样本数据集SL构建自监督学习任务的步骤为:将为源域数据集构建的小样本学习中支持集S与查询集Q进行复制,然后将复制后的数据进行光谱翻转,并分别将翻转前后的样本赋予标签1和0;其中,支持集S的获取方式为:从标记样本数据集SL中随机选取c个类,然后每个类别选出k个样本,组成支持集,查询集Q的获取方式为:从选出的c个类的

剩余样本中每类选择t个样本,组成查询集 。

5.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S4中,构建的深度神经网络由输入层、映射层、深度残差收缩网络、软标签学习网络、自监督学习网络、小样本分类网络、无监督域适应模块以及分类器组成;

其中,输入层用于对源域数据集和目标域数据集的高光谱图像数据进行采集,采集后的数据空间维度尺寸为9×9;

映射层用于对输入层输入的数据进行映射操作,经映射后的数据维度为9×9×100;

深度残差收缩网络用于提取输入的映射后的高光谱图像数据的光谱空间特征并完成分类预测,其中,深度残差收缩网络由特征提取器和分类层构成,该三维的残差收缩网络是在残差网络的基础上加入收缩模块;

软标签学习网络用于对目标域中生成的软标签的对应未标记样本数据经特征提取器提取到的特征进行接收,并结合软标签生成软标签损失 ;

自监督学习网络用于对源域数据集中的标记样本数据集SL经特征提取器提取到的特征进行接收,然后结合自监督学习得到源域自监督损失 ;

小样本分类网络用于接收源域数据集中的标记样本数据集SL和目标域数据集中的标记样本数据集TL经特征提取器提取后的特征,然后和结合小样本学习得到小样本分类损失,源域数据集的小样本分类损失和目标域数据集的小样本分类损失分别为 和 ;

无监督域适应模块用于对经特征提取器提取后的源域数据集和目标域数据集的特征进行接收,然后计算源域数据集与目标域数据集两个域之间的分布损失 。

6.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S5中,网络综合损失 的计算公式,如式(5)所示:                          (5)

其中, 和 分别表示源域数据集和目标域数据集的损失;

而源域数据集损失,通过式(6)计算:

                                (6)源域数据集的损失包括三个模块的损失,分别是:小样本学习损失 、自监督学习损失以及域适应损失 ;

而目标域数据集损失,通过式(7)计算:

                     (7)

目标域数据集的损失也包括三个部分,分别是:小样本学习损失 、软标签损失以及域适应损失 。

7.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S5中,源域数据集的小样本学习损失 与目标域数据集的小样本学习损失计算方法相同;源域数据集的小样本学习损失 的计算方法如下所示:从标记样本数据集SL中随机选取c个类,然后每类选出k个样本,组成支持集,而后从选出的c个类的剩余样本中每类选

择t个样本,组成查询集 ,而后将支持集S中的数据经过映射

之后送入特征提取器提取特征,而后将每类样本的输出向量取平均值得出该类别的平均特征 , 的计算公式如式(8)所示:                   (8)

式(8)中, 表示映射层, 和 分别表示映射层和特征提取器的参数;下一步将查询集Q中的数据经过映射之后送入特征提取器提取特征,然后通过计算与支持集得到的平均特征之间的 距离 ,可以 得到查 询集的类分布 ,的计算公式如式(9)所示:

 (9)

式(9)中, 表示负平方欧氏距离;

通过计算查询集Q样本的平均特征与支持集S样本的平均特征之间的距离,得到每个查询集Q中的样本与支持集S中各个类别的样本之间的相似性,最后可根据得到查询集Q中的样本的概率分布求出所有查询集Q样本的分类损失 ,本申请中所有查询集Q样本的分类损失 即为源域数据集的小样本学习损失 ,其中, 的计算公式如式(10)所示:                    (10)

式(10)中,S和Q分别是支持集和查询集。

8.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S5中,自监督学习损失Ls的计算方法如下所示:复制一份支持集S与查询集Q,并将支持集S与查询集Q里面的光谱向量翻转,分别得到S’与Q’,而后给予原数据(S,Q)中所’ ’有样本标签为1,翻转后的数据(S ,Q)中所有样本标签为0;而后,将所有数据送入特征提取器提取特征,然后将原数据和翻转后的数据特征结果送入分类器中预测是否翻转,自监督学习的损失被定义为 , 的计算公式如式(11)所示:          (11)

式(11)中, 是对第n个样本预测为正例的概率, 表示第n个样本的标签,y的取值为0和1。

9.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S5中,域适应损失 的获取方式为:利用特征提取器对源域数据集的标记样本数据集SL和目标域数据集的标记样本数据集TL分别进行特征提取,得到源域特征FS和目标域特征Ft,然后,通过式(12)计算得到域适应损失 :  (12)

式(12)中, 表示Frobenius范数,d表示特征提取器输出的向量个数, 是一个所有元素为1的列向量, 和 分别为源域和目标域输入的样本的个数。

10.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法,其特征在于:步骤S5中,软标签损失 的计算方法如下所示:将软标签对应的未标记样本数据送入深度残差收缩网络的特征提取器中提取特征,而后利用分类层完成分类预测,得预测结果,将预测结果与软标签做交叉熵作为软标签损失 ,其中,软标签损失 的计算公式如式(13)所示:         (13)

式(13)中,Fs是软标签对应的未标记样本数据得到的送入特征提取器得到的特征,labels表示对应的为未标记样本生成的软标签。