欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019111220277
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种焊点缺陷检测方法,其特征在于,包括以下步骤:步骤S1:使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络,对样本图像进行裁剪获得训练样本;

步骤S2:通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征,计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数;

步骤S3:根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进行优化;

步骤S4:将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板,获取焊点检测图像的感兴趣区域图像以及局部对抗生成模板;其中,步骤S4具体包括:步骤S401:将检测图像进行像素归一化操作,输入到训练好的对抗生成模板生成网络中得到对抗生成模板;

步骤S402:将对抗生成模板进行等间距滑动窗口裁剪,得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像;

步骤S403:将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息;其中,所述感兴趣区域分类网络的损失函数Lcn为:其中,n代表输入的训练样本数量, 代表输入第i个训练样本xi的焊接点处感兴趣区域图像的标签, 表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率;

步骤S404:利用得到实际焊接点的位置信息裁剪图像,得到检测图像的感兴趣区域图像;

步骤S5:将感兴趣区域图像与局部对抗生成模板进行对比,根据对比结果判断焊点检测图像的焊点缺陷;其中,步骤S5具体包括:

步骤S501:将所述感兴趣区域图像和所述局部对抗生成模板由RGB颜色模式转换为HSV颜色模式,得到色度通道图像;

步骤S502:将色度通道图像进行减法运算获得差分图像,再通过定义二进制操作判断色度通道图像中的潜在缺陷像素:

其中,b是二值化图像,它表示焊点图像的潜在缺陷像素;(i,j)代表图像像素位置;XH(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度通道H后在(i,j)位置处的像素值大小;Y表示检测图像X经过生成器G后得到的局部对抗生成模板;YH(i,j)表示对局部对抗生成模板Y提取色度通道H后在(i,j)位置处的像素值大小,R为判断缺陷像素点的阈值;

步骤S503:累加缺陷像素,根据累加的缺陷像素判断焊点检测图像的焊点缺陷,具体公式如下:其中,DS代表缺陷分数,它通过对缺陷像素点进行累加,获得潜在缺陷像素点的数量;H代表感兴趣区域图像的高;W代表感兴趣区域图像的宽;b(i,j)代表二值化图像在(i,j)位置处的像素值大小;

其中,IS表示检测分数,用于表示焊点质量;DS代表缺陷分数;T代表缺陷判断的阈值。

2.根据权利要求1所述的一种焊点缺陷检测方法,其特征在于,所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码器GD以及判别器D1对输入的样本图像进行处理。

3.根据权利要求1所述的一种焊点缺陷检测方法,其特征在于,在步骤S2中,获取到样本的图像特征后,标记出样本图像中焊接点位置信息,感兴趣区域分类网络根据输入训练样本图像中标记的位置信息,截取出训练样本图像中焊接点位置处的感兴趣区域作为感兴趣区域样本的正样本,并对训练样本图像的某一随机位置截取感兴趣区域作为负样本,再将感兴趣区域正样本以及负样本输入到感兴趣区域分类网络中,输出感兴趣区域为焊接点处位置的概率值。

4.根据权利要求3所述的一种焊点缺陷检测方法,其特征在于,在步骤S2中,对抗生成模板生成网络的损失函数包含对抗损失,内容损失、特征损失、局部对抗损失和局部分类损失。

5.根据权利要求4所述的一种焊点缺陷检测方法,其特征在于,内容损失通过计算对抗生成模板生成网络中输入图像和输出图像的L1距离来获得;

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来获得;

对抗性损失通过判别器D1计算出的输入图像和输出图像的高维特征之间的L1距离来获得;

局部对抗损失通过局部判别器D2中提取输入图像和输出图像的第七层卷积层的感兴趣区域高维特征,再通过计算感兴趣区域的高维特征之间的L1距离来获得;

生成器G的整体损失函数如下所示:

LG=wcon*Lcon+wenc*Lenc+wadv*Ladv+wlacal‑adv*Llocal‑adv+wlocal‑cn*Llocal‑cn其中,wcon,wenc、wadv、wlocal‑adv、wloacl‑cn是分别为内容损失的权重、特征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重;Lcon、Lenc、Ladv、Llocal‑adv、Llocal‑cn分别为内容损失、特征损失、对抗损失、局部对抗损失、局部分类损失。

6.一种焊点缺陷检测系统,其特征在于,所述系统包括图像裁剪模块、对抗生成模板生成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块;

所述图像裁剪模块用于对输入的图像进行裁剪;

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络;

所述感兴趣区域分类模块用于提供感兴趣区域分类网络模块;

所述损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴趣区域分类模块的损失函数;其中,所述损失函数计算模块具体用于:将检测图像进行像素归一化操作,输入到训练好的对抗生成模板生成网络中得到对抗生成模板;

将对抗生成模板进行等间距滑动窗口裁剪,得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像;

将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息;其中,所述感兴趣区域分类网络的损失函数Lcn为:其中,n代表输入的训练样本数量, 代表输入第i个训练样本xi的焊接点处感兴趣区域图像的标签, 表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率;

利用得到实际焊接点的位置信息裁剪图像,得到检测图像的感兴趣区域图像;

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区域分类模块输出的图像对焊点质量进行检测;其中,所述的焊点检测模块具体用于:将所述感兴趣区域图像和所述局部对抗生成模板由RGB颜色模式转换为HSV颜色模式,得到色度通道图像;

将色度通道图像进行减法运算获得差分图像,再通过定义二进制操作判断色度通道图像中的潜在缺陷像素:

其中,b是二值化图像,它表示焊点图像的潜在缺陷像素;(i,j)代表图像像素位置;XH(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度通道H后在(i,j)位置处的像素值大小;Y表示检测图像X经过生成器G后得到的局部对抗生成模板;YH(i,j)表示对局部对抗生成模板Y提取色度通道H后在(i,j)位置处的像素值大小,R为判断缺陷像素点的阈值;

累加缺陷像素,根据累加的缺陷像素判断焊点检测图像的焊点缺陷,具体公式如下:其中,DS代表缺陷分数,它通过对缺陷像素点进行累加,获得潜在缺陷像素点的数量;H代表感兴趣区域图像的高;W代表感兴趣区域图像的宽;b(i,j)代表二值化图像在(i,j)位置处的像素值大小;

其中,IS表示检测分数,用于表示焊点质量;DS代表缺陷分数;T代表缺陷判断的阈值。

7.根据权利要求6所述的一种焊点缺陷检测系统,其特征在于,所述对抗生成模板生成网络模块包括:编码器GE1、编码器E2、解码器GD、判别器D1,所述编码器GE1、编码器E2、解码器GD和判别器D1由卷积神经网络所组成,所述编码器GE1和解码器GD共同构成生成器G;

所述生成器G用于生成一个与输入图像分布相同的合格图像;

所述编码器GE1用于对输入图像进行下采样,提取出输入图像的高维特征Z;

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1,重构出合格的焊点模板;

所述判别器D1用于判断生成图像和样本图像,约束生成器G生成无法被判别真假的生成图像;

所述编码器E2用于提取生成图像的高维特征Z2,约束生成器G生成与输入样本高维特征相同的图像;

所述对抗生成模板生成网络模块还包括有局部判别器D2,所述的局部判别器D2由卷积神经网络所构成,用于判断出焊接点感兴趣区域的生成图像和样本图像,并得到局部对抗损失,用于约束生成器G的特征提取,并使其产生与样本图像特征相同的自适应对抗生成模板。

8.一种焊点缺陷检测设备,其特征在于,所述设备包括处理器以及存储器;

所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器用于根据所述程序代码中的指令执行权利要求1‑6任一项所述的一种焊点缺陷检测方法。