1.一种基于融合网络的手机屏幕缺陷分割方法,其特征在于,包括:
采集手机屏幕图像,包括缺陷图像和无缺陷图像;
利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练,并获得缺陷图像对应的缺陷候选框;
所述缺陷检测网络包括基于轻量级卷积神经网络的主干网络和多尺度特征图的检测头部网络;其中,轻量级卷积神经网络包括依次连接的输入层、卷积层、归一化层、激活函数层以及输出层,卷积层的卷积形式为深度可分离卷积,包括顺次相连的两个深度卷积核与一个逐点卷积核,采用依次连接各卷积核的方式和跳跃连接的方式,将输入层的输入进行特征提取和特征堆叠,再从输出层输出至下一层;
检测头部网络从轻量级卷积神经网络中获取m个不同尺度大小的特征图,在特征图的每个像素点上设置n种不同尺度大小的缺陷候选框,通过自适应训练样本选择进行了正负样本控制,设置的缺陷候选框与真实缺陷标注框的交并比大于自适应阈值则为正样本,否则为负样本;通过检测头部网络的回归层进行边框预测、通过检测头部网络的分类层进行类别预测,当完成训练轮数或者检测头部网络的损失函数没有下降时,则停止训练;其中,检测头部网络的损失函数表达式如下:Loss=L1+L2+L3+L4
式中,Loss表示检测头部网络的损失;L1为中心点损失,L2为宽高损失,L3为置信度损失,L4为分类损失;其中, 表示第i个输出框是否有目标,其值对应为1或0,M表示检测头部网络进行一轮训练所输入的缺陷图像的数量,(xi、yi)表示第i个输出框的中心坐标;wi表示第i个输出框的宽度;hi表示第i个输出框的高度;Ci表示第i个输出框的置信度;pi表示第i个输出框的对应类别概率; 表示第i个输出框所对应标注的真实框的中心坐标;
表示第i个输出框所对应标注的真实框的宽度;表示第i个输出框所对应标注的真实框的高度;表示第i个输出框所对应标注的真实框的置信度;表示第i个输出框所对应标注的真实框的对应类别概率;c表示缺陷候选框的置信度;
利用无缺陷图像对预先建立的图像重构网络进行训练,并恢复出背景重构图像;
所述图像重构网络通过卷积去噪自编码器进行构建,包括噪声模块、编码器、解码器,其中,噪声模块给无缺陷图像添加椒盐噪声、高斯噪声、掩膜噪声干扰;编码器部分包含卷积层、激活函数层、池化层,对图像进行特征提取和下采样;解码器部分包含卷积层、激活函数层、上采样层,并采用多层特征融合的特征金字塔结构,从编码器获取不同尺度的特征图,利用解码器对不同尺度的特征图进行解码,从而得到背景重构图像;当完成训练轮数或者检测头部网络的损失函数没有下降时,则停止训练;其中,图像重构网络所采用的均方误差损失函数表示为:L(x,y)表示图像重构网络所采用的均方误差损失函数;Ix为原始的无缺陷图像,Iy为背景重构图像,M为图像重构网络进行一轮训练所输入的无缺陷图像的数量;
将缺陷图像和背景重构图像进行差值运算,采用阈值分割的方式得到缺陷分割图;
在所述缺陷分割图上利用对应的缺陷候选框的位置坐标,提取出缺陷分割图在位置坐标下对应的缺陷部分,并获得最终的缺陷分割结果。
2.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法,其特征在于,自适应训练样本选择是计算设置的每个候选框中心点与真实缺陷框中心点的欧氏距离:将距离较近的候选框加入备选正样本集合Cg,对备选正样本集合Cg中的每个候选框,计算与真实框的交并比Dg,然后计算Dg的均值mg和标准差vg,选取tg=mg+vg作为交并比的阈值,只有Cg中与真实框的交并比大于阈值tg被选为正样本候选框;I1表示候选框中心点,I2表示真实缺陷框中心点。
3.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法,其特征在于,缺陷检测网络所采用的迁移学习方法是在训练好的网络权重基础上进行微调的训练方式;在已训练好的主干网络中即权重已固定的主干网络的基础上,利用构建出的缺陷图像数据集,训练缺陷检测头部网络,检测头部网络训练完成后,解除已固定的主干网络权重,对整个缺陷检测网络的权重进行微调训练。
4.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法,其特征在于,缺陷分割图的获取方式包括对缺陷图像和背景重构图像进行空间域的减法运算,确定出差值图像;采用三角法在差值图像的像素直方图确定出自适应的图像阈值,并按照图像阈值对差值图像进行分割,得到缺陷分割图;其中,自适应的图像阈值的获取方式包括在差值图像的像素直方图的最高峰到最低峰构造出直线,遍历计算直方图中各个像素值位置到直线的垂直距离,将距离最大的像素值位置作为图像阈值。
5.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法,其特征在于,获得最终的缺陷分割结果的过程包括对m个不同尺度大小的特征图进行预测,通过回归和分类确定出缺陷候选框的参数(x,y,w,h,c),通过快速的非极大值抑制方法进行筛选,选取最高置信度分数的缺陷候选框作为最终检测结果;其中,(x,y)表示缺陷候选框的中心坐标;w表示缺陷候选框的宽度;h表示缺陷候选框的高度;c表示缺陷候选框的置信度。
6.一种基于融合网络的手机屏幕缺陷分割装置,其特征在于,包括:
图像采集模块,用于采集手机屏幕图像,包括缺陷图像和无缺陷图像;
缺陷检测网络,用于对缺陷图像进行检测,并获得缺陷图像对应的缺陷候选框;
所述缺陷检测网络包括基于轻量级卷积神经网络的主干网络和多尺度特征图的检测头部网络;其中,轻量级卷积神经网络包括依次连接的输入层、卷积层、归一化层、激活函数层以及输出层,卷积层的卷积形式为深度可分离卷积,包括顺次相连的两个深度卷积核与一个逐点卷积核,采用依次连接各卷积核的方式和跳跃连接的方式,将输入层的输入进行特征提取和特征堆叠,再从输出层输出至下一层;
检测头部网络从轻量级卷积神经网络中获取m个不同尺度大小的特征图,在特征图的每个像素点上设置n种不同尺度大小的缺陷候选框,通过自适应训练样本选择进行了正负样本控制,设置的缺陷候选框与真实缺陷标注框的交并比大于自适应阈值则为正样本,否则为负样本;通过检测头部网络的回归层进行边框预测、通过检测头部网络的分类层进行类别预测,当完成训练轮数或者检测头部网络的损失函数没有下降时,则停止训练;其中,检测头部网络的损失函数表达式如下:Loss=L1+L2+L3+L4
式中,Loss表示检测头部网络的损失;L1为中心点损失,L2为宽高损失,L3为置信度损失,L4为分类损失;其中, 表示第i个输出框是否有目标,其值对应为1或0,M表示检测头部网络进行一轮训练所输入的缺陷图像的数量,(xi、yi)表示第i个输出框的中心坐标;wi表示第i个输出框的宽度;hi表示第i个输出框的高度;Ci表示第i个输出框的置信度;pi表示第i个输出框的对应类别概率; 表示第i个输出框所对应标注的真实框的中心坐标;
表示第i个输出框所对应标注的真实框的宽度;表示第i个输出框所对应标注的真实框的高度;表示第i个输出框所对应标注的真实框的置信度;表示第i个输出框所对应标注的真实框的对应类别概率;c表示缺陷候选框的置信度;
图像重构网络,用于对无缺陷图像进行重构,并恢复出背景重构图像;
所述图像重构网络通过卷积去噪自编码器进行构建,包括噪声模块、编码器、解码器,其中,噪声模块给无缺陷图像添加椒盐噪声、高斯噪声、掩膜噪声干扰;编码器部分包含卷积层、激活函数层、池化层,对图像进行特征提取和下采样;解码器部分包含卷积层、激活函数层、上采样层,并采用多层特征融合的特征金字塔结构,从编码器获取不同尺度的特征图,利用解码器对不同尺度的特征图进行解码,从而得到背景重构图像;当完成训练轮数或者检测头部网络的损失函数没有下降时,则停止训练;其中,图像重构网络所采用的均方误差损失函数表示为:L(x,y)表示图像重构网络所采用的均方误差损失函数;Ix为原始的无缺陷图像,Iy为背景重构图像,M为图像重构网络进行一轮训练所输入的无缺陷图像的数量;
第一图像分割模块,将缺陷图像和背景重构图像进行差值运算,采用阈值分割的方式得到缺陷分割图;
第二图像分割模块,在所述缺陷分割图上利用对应的缺陷候选框的位置坐标,提取出缺陷分割图在位置坐标下对应的缺陷部分,并获得最终的缺陷分割结果。
7.一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一所述的一种基于融合网络的手机屏幕缺陷分割方法。