欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021104569219
申请人: 长春理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,包括语义分割网络的搭建和训练以及测试,语义分割网络为一个具有双分支结构的轻量级编解码网络,基于训练样本完成语义分割网络训练后,将待测试遥感图像输入到语义分割网络中,输出最终的遥感图像语义分割结果;

包括以下步骤,且按以下步骤顺次进行:步骤1、获取遥感图像数据集,准备训练和测试样本;

步骤2、搭建具有双分支结构的轻量级编解码语义分割网络;

步骤3、将训练样本输入到编码器中,通过特征提取进行特征编码,获取编码特征图FE;

步骤4、将编码特征图FE输入到解码器中,进行边缘特征细化处理和上采样操作,获取解码特征图FD;

步骤5、将解码特征图输入到分类器中进行像素级分类预测,输出分割结果,通过监督机制,对语义分割网络进行有监督训练;

步骤6、利用训练样本对步骤2搭建的语义分割网络,按照步骤(3‑5)进行语义分割网络的训练;

步骤7、将待测试样本输入到训练好的语义分割网络中,输出最终的遥感图像语义分割结果,完成语义分割网络的测试。

2.根据权利要求1所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤2搭建具有双分支结构的轻量级编解码语义分割网络,且该网络包含了编码器、解码器、分类器三个部分;

所述编码器是一个双分支结构,含有一个全局下采样块、一个轻量化双分支子网络、一个全局特征融合模块;

所述解码器由一个轻量化边缘解耦模块和一个上采样模块构成;

所述分类器由常规卷积层和SoftMax层构成。

3.根据权利要求1所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤3中获取编码特征图FE,包括如下步骤:步骤3.1、将训练样本输入到编码器的全局下采样块中,获取低级特征图;

步骤3.2、将低级特征图输入至编码器中的轻量化双分支子网络中,获取空间细节特征图和抽象语义特征图;

步骤3.3、将获取的空间细节特征图和抽象语义特征图,通过编码器的全局特征融合块,进行多级特征融合,输出编码特征图FE。

4.根据权利要求3所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤3.1中的全局下采样块由3个部分构成,其一是1个常规卷积,其二是1个Ghost瓶颈模块,其三是1个全局上下文模块;

输入样本经过全局下采样块后,将生成一个输出分辨率为原输入1/4的低级特征图,作为后续过程的输入。

5.根据权利要求3所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤3.2中的轻量化双分支子网络,该子网络包含两条分支,分别是获取抽象语义特征的主干深度分支和获取空间细节特征的空间保持分支,两分支共享全局下采样块输出的低级特征图;

所述主干深度分支基于GhostNet特征提取网络构建,包含两个结构,其一是由16个Ghost瓶颈模块构成的分支主体结构,用以进行4次下采样过程,实现深层特征的提取;其二是轻量级特征金字塔,该结构由深度可分离卷积、上采样块、轻量化空洞空间池化金字塔模块以及元素融合四个部分构成,利用主体形成的4个不同尺度深层特征图作为输入,最终输出感受野增大且具有多尺度信息的抽象语义特征;

所述空间保持分支由3个深度可分离卷积构成,对于输入的低级特征图实现1次下采样,输出的空间细节特征图其分辨率是输入的1/2。

6.根据权利要求3所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤3.3全局特征融合模块包含3个部分,其一是两个并行的卷积核为1*1的深度可分离卷积;其二是元素融合;其三是1个全局上下文模块;

输入的抽象语义特征和空间细节特征通过并行的两个卷积进行维度调整,再经过元素融合输出具有丰富空间细节和抽象语义信息的特征图,最后通过全局上下文模块,进行轻量级的上下文建模,使得最终的形成编码特征图FE能更好的融合全局信息。

7.根据权利要求1所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤4获取解码特征图FD,首先将编码特征图FE输入到解码器的轻量化边缘解耦模块中,进行边缘特征细化处理,生成具有精细化边缘的精细特征图;再将精细特征图输入到解码器的上采样模块中,进行上采样操作,将精细特征图恢复至原输入遥感图像大小,作为解码器输出的解码特征图FD。

8.根据权利要求2所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述轻量化边缘解耦模块由3部分组成,分别是轻量化空洞空间池化金字塔、主体特征生成器和边缘保持器;编码特征首先经过轻量化空洞空间池化金字塔生成具有多尺度信息以及更大感受野的特征图Faspp,再经主体生成器为同一对象内部的像素生成更一致的特征表示,进而形成目标对象的主体特征图Fbody;将Fbody、Faspp以及FE输入至边缘保持器,经过显式减法操作、通道堆叠融合以及1*1常规卷积降维输出精细化边缘的特征图Fedge,最后将主体特征图和精细化边缘特征图融合,输出用于进行上采样恢复的精细输出特征图Ffinal;可以用下式表示整个过程:

式中,fdsaspp表示轻量化空洞空间池化金字塔函数,φ表示主体特征生成函数, 边缘保持函数;

所述上采样模块包含两个步骤,分别是1*1常规卷积操作和上采样操作,精细特征图Ffinal经该模块输出后将恢复成具有原输入遥感图像大小的特征图,即解码器的输出特征图FD。

9.根据权利要求1所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤5中的监督机制,解码特征图FD经过分类器处理后完成了像素级分类预测,输出即为语义分割的结果,通过由语义分割结果与真实标签形成的监督机制对网络进行有监督训练,使语义分割网络达到最佳的分割性能。

10.根据权利要求1所述基于边缘解耦的遥感图像轻量化语义分割方法,其特征在于,所述步骤5中的监督机制是一种基于边缘的监督方式,该机制通过设计的损失函数实现,总损失函数记作L,其式如下式所示:式中Lbody、Lfinal、Ledge、LG分别代表主体特征损失、边缘特征损失、精细特征损失、全局编码损失,4个损失函数的输入分别是:主体特征图、精细化边缘特征图、精细输出特征图以及编码特征图分别经过上采样恢复和SoftMax层后各自形成的分割结果与各自对应的真实标签;

其中损失函数Ledge是基于边缘预测部分获取边界边缘先验的综合损失函数,其包含了两个方面:其一是用于边界像素分类的二进制交叉熵损失Lbce,其二是场景中边缘部分的交叉熵损失Lbce,λ1、λ2、λ3、λ4、λ5、λ6代表超参数用于控制几个损失之间的权重。