欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021102751842
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-08-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于小样本的手机屏幕缺陷分割方法,其特征在于,具体包括以下步骤:采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;

构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;

构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;小样本手机屏幕缺陷语义分割网络包括编码器和解码器,编码器包括特征提取模块和特征增强模块,特征提取模块包括5个卷积块和一个交叉注意力模块,每个卷积块包括一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层,交叉注意力模块是由两个交叉注意力块级联构成,特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互,进一步增强查询图像特征表示;解码器包括四个反卷积层,且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入,将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入;且在训练过程中,将获得的查询图像的注意力特征图和支持图像的注意力特征图分别输入到解码器,生成两者的分割图像,并采用的改进的联合损失函数进行网络训练,改进的联合损失函数表示为:L=lsupport+lquery;

其中,lsupport为支持图像的损失函数,lquery为查询图像的损失函数;

在进行测试或者实时分割时,将待测图像的注意力特征图输入至解码器以生成其分割图像,即可确定测试图像缺陷的位置;

将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。

2.根据权利要求1所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,交叉注意力模块获取新特征图的操作包括以下步骤:将特征图 输入一个交叉注意力块中,分别通过三个1×1的卷积获得三个特征图对于特征图F1的每一个位置i,得到这个位置的特征向量 从特征图F2中获得与位置i相同行和列的其他位置的特征集合通过关联操作生成特征图F1和特征图F2的关联特征图 并将关联特征图通过softmax来生成注意力图获得特征图F3上的位置i的特征向量 以及关联特征图 中与位置i相同行和列的其他位置的特征向量 形成特征集合

通过集合操作将特征向量 与注意力图 相乘之后,再与输入的特征

图 相加,得到新特征图FF;

将得到的新特征图FF作为下一个交叉注意力块的输入,并进行以上操作,该交叉注意力块的输出即为交叉注意力模块获取的新特征图;

其中, 表示特征图的尺寸;b表示输入特征F的通道数,b'表示F经过1×1的卷积之后获得的新特征图的通道数,其中b'=b/8;由于输入的特征图是一个正方形,r表示特征图的边长。

3.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,通过关联操作获得的注意力图 的生成过程包括:Fa=softmax(G);

i,j

其中,g 为位置i与其相同列或行的其他位置j的关联关系;

i,j i

Φ 为Φ的第j个元素。

4.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,聚合操作生成新特征图FF的过程包括:

5.根据权利要求1所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,特征增强模块利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,且引入了协同注意力来强调查询图像与支持图像的相同目标的相关性,获取查询图像和支持图像的特征。

6.根据权利要求5所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,并获得查询图像新的特征图,包括以下步骤:经过特征提取模块获取支持缺陷图像的特征图 以及查询缺陷图像的特征图支持图像的掩膜图像为将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图

结合掩膜图像计算支持图像的代表特征

使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵通过像素相乘的方式来融合查询缺陷图像特征图fq和相似矩阵S来生成新的查询缺陷图像特征图判断在支持集中每种类别的缺陷图像的数量,如果每个类别的缺陷图像的数量只有一个,则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图;

否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程;

其中,c为支持图像和查询图像经过特征提取模块生成的特征图的通道数,n为特征图的大小,m为掩膜图像的大小。

7.根据权利要求6所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,结合掩膜图像计算支持图像的代表特征 表示为:其中,Ms x,y是指支持图像的掩膜图像的第x行、第y列的位置, 为支持图像的特征图fs1的第i个通道图像的第x行、第y列的位置,m为掩膜图像大小,Vi则是支持图像的代表向量V的第i个元素。

8.根据权利要求6所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵 表示为:其中, 为查询图像特征图fq第x列、第y行位置;V为支持图像的代表特征。

9.根据权利要求5所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,协同注意力来强调查询图像与支持图像的相同目标的相关性的过程包括:对支持缺陷图像的特征图 和根据相似矩阵S来生成新的查询缺陷图像特征图进行全局平均池化;

通过两个全连接层,进行上采样,得到两个权重矩阵Ws,

将得到的权重矩阵Ws与fq"进行通道相乘得到查询图像的注意力特征图 同样将Wq与fs相乘得到支持图像的注意力特征图