欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019109572013
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的图像语义分割方法,其特征在于,包括以下步骤:

步骤1:采用ResNet101作为骨架网络进行图像特征提取;

步骤2:采用联合特征金字塔JFP模型将ResNet101输出的后三层进行联合;

其中,ResNet101输出的最后三层分别为Block1、Block2和Block3,这三层的输出尺寸减半而深度增加一倍,将这三层的输出分别通过一个卷积,其中,卷积核尺寸为3,激活函数为ReLu,如式(1)所示:在图像边界进行1个像素值为0的填充,从而不改变输出图像的尺寸,加入批量归一化处理,采用DropOut为0.3以防止过拟合,卷积核的深度为512,使得输出的深度都变成512,然后分别通过空洞卷积率为1、2、4的3×3卷积,其中像素填充分别与空洞卷积率相同,不采用DropOut处理,其中空洞卷积率为2和4的卷积输出还要在图像边界加入2和4个像素值为0的填充,保持输出尺寸与输入的相同,再加入双线性插值,对这两个输出进行调整,使得输出的尺寸与Block1相同,由ResNet101的三层输出经过不同的卷积处理得到三个尺寸与深度相同的输出,与Block1层的输出尺寸与深度相同,最后将这三个输出与Block1的输出相加;因此JFP模型输出的特征图尺寸与Block1的输出相同,而深度为2048;

步骤3:将JFP模型的输出接入暗黑空间金字塔ASPP模型进一步提取图像的空间尺度信息;

步骤4:应用解码结构将步骤3的输出图像恢复为原始大小,完成对图像的语义分割。

2.根据权利要求1所述的基于卷积神经网络的图像语义分割方法,其特征在于:步骤1中,采用ResNet101作为骨架网络,使用预训练的模型提取图像信息。

3.根据权利要求1所述的基于卷积神经网络的图像语义分割方法,其特征在于:步骤3中,将JFP模型的输出再输入到ASPP模型;ASPP模型输出是由五个相同尺寸和深度的特征图相加得来;将JFP模型的输出作为输入,首先,应用1×1的卷积,将JFP的输出深度降为256,生成一个尺寸为(h,w)、深度为256的特征图,其中,h表示图像高度,w表示图像宽度;其次,应用空洞卷积率为6、8和10的空洞卷积,在图像边界进行6、8和10个像素值为0的填充,不改变图像尺寸,输出三个尺寸为(h,w)、深度为256的特征图;然后,应用全局池化结合1×1卷积,使用双线性插值法恢复图像尺寸,输出一个尺寸为(h,w)、深度为256的特征图;最后,由这5个输出特征图相加得到与JFP模型的输出特征图尺寸相同、深度为1280的输出;其中,卷积的激活函数为ReLu,加入了批量归一化处理。

4.根据权利要求1所述的基于卷积神经网络的图像语义分割方法,其特征在于:步骤4中,所述解码结构,采用1×1卷积、3×3卷积和1×1卷积的组合,第一个卷积将输入的深度降为256,第二个卷积作进一步特征处理,第三个卷积将深度降为21,与Pascal VOC 2012数据集的类别数相同,包括背景;最后通过双线性插值法将图像尺寸变为400×400,这个尺寸是数据集裁剪的尺寸,与最开始输入神经网络的图像尺寸保持相同;卷积的激活函数为ReLu,加入批量归一化处理,而其中3×3卷积加入了0.1的DropOut,与JFP模型中DropOut的值不同,因为设置不同的DropOut得到更好结果。

5.根据权利要求1‑4任意一项所述的基于卷积神经网络的图像语义分割方法,其特征在于:步骤1中,采用注意力模型作为辅助语义分割网络,将注意力模型的损失函数与语义分割网络的损失函数结合,辅助语义分割网络进行训练;

具体实现包括以下子步骤:

步骤1.1:将ResNet101的Block2的输出做一个1×1卷积处理,将特征图输出深度降为

21,然后进行全局池化处理,其中卷积过程的激活函数为ReLu,加入批量归一化处理,最后通过双线性插值法将输出图像尺寸变为400×400;

步骤1.2:定义语义分割网络的损失为Loss1,辅助网络的损失为Loss2;Loss1和Loss2均为SoftMax CrossEntropy损失函数所定义,为式(2)所示:其中,i∈{1,2,3…,21},yi'为标签图像中属于第i个类的概率值,即真实分布值,yi为语义分割模型输出预测属于第i个类的概率值,即预测分布值,y由SoftMax函数定义,如式(3)所示:其中,j∈{1,2,3…,21};

最终训练网络的损失函数为Loss总,其关系式如式(4)所示:

其中,0.5为设置辅助网络对整个模型损失函数的影响系数。