1.一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,包括以下步骤:采集具有不同类型缺陷的多款手机屏幕图像,形成缺陷图像训练集,并进行至少包括图像切割、灰度处理、缺陷类型标注和以及分割标注的预处理;
构建全卷积神经网络,将缺陷图像训练集中每张缺陷图像的灰度缺陷图像输入至全卷积神经网络中,输出其语义分割图像,并将得到的语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像;
建立孪生神经网络,将任意两两二通道缺陷图像进行配对形成样本对后输入至孪生神经网络的两个子网络中,将两个子网络输出的特征图进行相似度比较,按照相似度判断确定这两个特征图是否属于同一缺陷类型;
采用迁移学习的方式训练全卷积神经网络和孪生神经网络,将相关领域的标注数据作为源域对上述网络进行预训练,将缺陷图像训练集作为目标域对预训练后的网络进行微调,直至训练完成;
在训练完成之后,从每一类已知缺陷类别的缺陷图像训练集中提取相同数量的标注样本作为样本集;
将待测手机屏幕图像进行图像切割和灰度处理后,将其分别与每一类提取后的已知缺陷类别的缺陷图像共同输入至训练完成的全卷积神经网络中,并从训练完成的孪生神经网络中,输出待测手机屏幕图像与其他已知缺陷类型的缺陷图像是否属于同一缺陷类型的判断结果,从而确定出该待测手机屏幕图像的缺陷类型以及该待测手机屏幕图像的语义分割图像。
2.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,孪生神经网络中每个子网络均包括多个卷积模块,将其中的浅层特征图分割成与高层特征图大小相同的特征块,采用像素叠加以及特征图堆叠的方式,将特征块与高层特征图进行融合,形成多尺度特征融合的特征图。
3.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,所述相似度比较包括采用多种相似度度量方式分别计算两个子网络输出的特征图的相似度,采用加权平均的方式计算出相似概率,相似度的计算公式表示为:其中,SXY表示特征图X与特征图Y最终的相似概率,ρi表示为不同度量方式分配的权值,si表示不同的度量方式得到的相似概率,n为度量方式的总数。
4.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,训练全卷积神经网络是采用逐像素的多项式逻辑回归损失,即对每张灰度缺陷图像的像素进行softmax分类,得到其全卷积神经网络的损失函数,利用该损失函数对全卷积神经网络进行训练;该损失函数表示为:其中,l(X;θ)表示灰度缺陷图像X中每一个像素(i,j)的softmax损失之和,yk表示是否属于第k类型缺陷的标签,yk=1表示属于第k类型缺陷,yk=0表示不属于第k类型缺陷;
表示每一个像素的softmax值,ak为该像素为第k型缺陷的概率值;n表示缺陷的类型总数。
5.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,训练孪生神经网络是采用两个子网络的对比损失,其中,该对比损失函数表示为:其中,N表示样本对的数量, 则是第i对样本是否属于相同类型缺陷的标签,时,第i对样本中两个样本属于相同类型缺陷; 时,第i对样本中两个样本属于不同类型缺陷; 表示第i对样本之间的相似度概率,m为设定的相似度概率阈值。
6.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法,其特征在于,将测试出的手机屏幕图像加入到训练集样本中,重新训练神经网络。
7.一种基于小样本学习的手机屏幕缺陷检测装置,其特征在于,包括:
图像采集模块,用于采集具有不同类型缺陷的多款手机屏幕图像;
预处理模块,用于对图像进行预处理,包括图像切割、灰度处理、缺陷类型标注和以及分割标注;
全卷积神经网络,用于获取灰度缺陷图像的语义分割图像,并将语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像;
孪生神经网络,将任意两两二通道缺陷图像进行配对,输出两者是否属于同一缺陷类型的结果;
迁移学习模块,用于对全卷积神经网络以及孪生神经网络进行训练。
8.一种基于小样本学习的手机屏幕缺陷检测系统,其特征在于,包括如权利要求7中所述的装置以及传输装置和存储装置。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。