欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2016102027506
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的焊接视觉检测方法,其特征在于:所述方法包括如下步骤:

第一步,训练阶段,将训练样本输入卷积神经网络,获得卷积神经网络的连接权值和偏置值;

第二步,测试阶段,读入焊接图像,对焊接图像采用数字图像处理技术进行预处理,提取出感兴趣区域,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入;

所述卷积神经网络的结构为6层,包括依次连接的输入层,C1层、S2层、C3层、S4层和输出层,C1层、C3层为卷积层,S2层、S4层为下采样层,输入层为大小为28*28像素的图像,C1层由6个大小为24*24像素的特征map构成,S2层由6个大小为12*12像素的特征map构成,C3层由12个大小为8*8像素的特征map构成,S4层由12个大小为4*4像素的特征map构成,输出层包括6个一维向量,分别表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹渣;

(5)球状夹渣;(6)气孔。

2.如权利要求1所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:所述训练样本有1万张图片,在这1万张样本中,有500张为焊接缺陷图片,剩余9500张为前述500张焊接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转图像处理方法得到的焊接缺陷图片,然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入;所述的训练样本包括输入向量和理想输出向量,当输入向量输入CNN中后经过逐层变换,传送到输出层,得到实际输出向量。

3.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:

C1层经过5×5的卷积模板卷积后,6个特征图的大小均为24*24,特征图中每个神经元与输入中5×5的卷积模板相连,每个滤波器5×5共25个元参数和一个偏置参数,共6个滤波器,共6×(5×5+1)=156个可训练参数,共有156×(24×24)=89856个连接;

S2层经下采样后得到6个12×12的特征图,特征图中的每个单元与C1中对应特征图的2×2邻域连接,S2层每个单元的4个输入相加,乘以一个可训练参数,再加上一个可训练偏置;结果通过Sigmoid函数计算,函数如下:下采样相当于模糊图像,使用2×2模板时不重叠,因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2),每一个子采样特征图需要训练2个参数,S2共有6×2=12个参数需要训练,共有6×(2×2+1)×(12×12)=4320个连接;

C3层也是一个卷积层,它跟C1有类似的地方,但也有一定的差别,它同样通过5×5的卷积核去卷积层S2,然后得到的特征map就只有8×8个神经元,但是它有12种不同的卷积核,所以就存在12个特征map,这里需要注意的一点是:C3中的每一个特征map是连接到S2中的所有6个或者几个特征map的,表示每一层的特征map是上一层提取到的特征map的不同组合,C3层共有12个特征图,其中5个特征图抽取S2层中3个相邻的特征图子集信息;4个特征图抽取S2中4个相邻特征图子集信息;2个抽取不相邻的4个特征图子集信息,1个抽取S2中所有特征图组合信息,最理想的是12个特征图抽取的特征是互补的;这样C3层有(5×5)×

45+12=1137个可训练参数和1137×8×8=72768个连接;

S4层是一个下采样层,由16个4×4大小的特征图构成,特征图中的每个单元与C3中相应特征图的2×2邻域相连接,跟C1和S2之间的连接一样,S4层有2×12=24个可训练参数和(2×2+1)×12×(5×5)=1500个连接;

输出层是与S4的一个全连接层,S4有12×4×4=192个神经元,每一个神经元都与输出的一个神经元相连,输出层共有6个神经元(焊缝缺陷种类),所以共有192×6=1152个连接。

4.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:所述第一步中,训练过程包括4步,这4步被分为两个阶段:第一阶段,向前传播阶段:

1.1.1)从样本集中取一个样本(X,Yp),将X输入网络;

1.1.2)计算相应的实际输出Op;

在此阶段,信息从输入层经过逐级的变换,传送到输出层,网络执行的是计算:

(1) (2) (n)

Op=Fn(…(F2(F1(XpW )W )…)W )               (2)在计算过程中,都是用Sigmoid作为激活函数;

第二阶段,向后传播阶段:

1.2.1)计算实际输出Op与相应的理想输出Yp的差;

1.2.2)按极小化误差的方法反向传播调整权矩阵。

5.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:输出层到S4层的残差=-(输出值-样本值)*激活函数的导数,隐藏层的残差=(右层每个节点的残差加权求和)*激活函数;

其中,残差全部计算好后,更新权重:

(1)输入层:权重增加=输入值*右层对应节点的残差*学习率;

(2)隐藏层:权重增加=当前节点的Sigmoid*右层对应节点的残差*学习率;

(3)偏移值的权重增加=右层对应节点的残差*学习率;

其中,隐藏层表示除输入层、输出层以外的其他各层,学习率是一个预先设置好的参数,用于控制每次更新的幅度;此后,对全部数据都反复进行这样的计算,直到输出的误差达到一个很小的值为止;

在卷积神经网络中,输出层的残差是输出值与样本值的差值,而中间各层的残差来源于下一层的残差的加权和,输出层的残差计算如下:其中, (第nl层表示输出层)为输出层的残差,yi表示输出值, 表示前向传播中输出层的输入值, 表示激活函数的导数;

下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充,因为从卷积神经网络的结构图看出,采样层的map大小是卷积层的但这两层的map个数是一样的,卷积层的某个map中的4个单元与采样层对应map的一个单元关联,扩充之后使得采样层的残差的维度与上一层的输出map的维度一致;

下一层为卷积层的采样层的残差的计算比较麻烦一点,因为采样层到卷积层直接的连接是有权重和偏置参数的,因此不像卷积层到采样层那样简单,当采样层L的下一层是卷积层(L+1),并假设我们已经计算出L+1层的残差,再假设L层第j个map Mj与L+1层的M2j关联,按照反向传播算法的原理,L层的残差Dj是L+1层残差D2j的加权和,M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转,使之一一对应;

残差计算出来后,就是更新权重和偏置参数。

6.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法,其特征在于:在完成卷积神经网络的训练后,便进入了测试阶段,测试阶段用来测试所使用的卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠,其过程为:读取检测图像,将这些疑似焊缝缺陷归一化为同尺寸灰度图,然后将这些图像输入训练好的卷积神经网络中进行测试,利用卷积神经网络进行分类,分类的结果为上述的6类焊缝缺陷,进而获取误差率。

7.一种实现如权利要求1所述的基于卷积神经网络的焊接视觉检测方法的装置,其特征在于:所述装置包括爬行机构、动力传动机构、视觉检测设备和焊缝缺陷分析系统;

所述的爬行机构分为前后两组,每组由相隔120°的3个轮子构成,前组起导向,后组为驱动;爬行机构具有足够摩擦力,防止在内膛打滑,由弹簧刚度保证;爬行脚具有设定宽度,采用耐磨橡胶轮;

所述的动力传动机构位于爬行装置的后部;采用步进电机为动力源,经齿轮传动后,将动力传递给爬行脚,以驱动爬行装置在钢管内爬行;

所述的视觉检测设备配置在所述的爬行机构前方,主要包括无线通信单元、主动式全景视觉传感器和电源;

所述的焊缝缺陷检测分析系统分为系统软硬件,系统硬件包括无线通信单元、计算单元、存储单元和显示单元;系统软件包括全景视频图像接收单元、全景视频图像展开单元和卷积神经网络处理单元。

8.如权利要求7所述的装置,其特征在于:所述的全景视觉传感器包括全方位视觉传感器和LED带光源;所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元;

所述的凹圆弧镜面的轴心线上开有一个螺纹孔;所述的透光玻璃的中心开有一个小孔;所述的外罩由两个半圆柱型相合而成,半圆柱型上的雌雄扣相配合;装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中,然后对准两半圆柱型的雌雄扣,并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩;所述的外罩下部开有一个摄像镜头孔;接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接;所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中;所述的凹圆弧镜面盖中心开有一个小孔;

所述的LED带光源环绕在所述的全方位视觉传感器的下固定座上。

9.如权利要求8或9所述的装置,其特征在于:所述的全景视频图像展开单元,用于对钢管内壁全景图像进行展开处理得到钢管内壁全景展开图;根据全景图像的中心坐标以及图像的内外圆半径,将全景图像的中心坐标设定平面坐标系的原点O**(0,0)、X*轴、Y*轴、全景图像的内径为r、外径为R,用r1=(r+R)/2设定中间圆的半径,方位角为β=tan-1(y*/x*);

全景柱状展开图像以坐标原点O**(0,0)、X**轴、Y**轴为平面坐标系,将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点O**(0,0),以方位角β顺时针方向展开;建立全景柱状展开图像中任意一点象素坐标P**(x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系,其计算式为:x*=y*/(tan(360x**/π(R+r)))                  (4)y*=(y**+r)cosβ                              (5)式中,x**,y**为全景柱状展开图像的象素坐标值,x*,y*为全景图像的象素坐标值,R为圆形全景图像的外径,r为圆形全景图像的内径,β为圆形全景图像坐标的方位角;这里规定采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。

10.如权利要求8或9所述的装置,其特征在于:所述卷积神经网络处理单元中,卷积神经网络的结构为6层,包括依次连接的输入层、C1层、S2层、C3层、S4层和输出层,C1层、C3层为卷积层,S2层、S4层为下采样层,输入层为大小为28*28像素的图像,C1层由6个大小为24*

24像素的特征map构成,S2层由6个大小为12*12像素的特征map构成,C3层由12个大小为8*8像素的特征map构成,S4层由12个大小为4*4像素的特征map构成,输出层包括6个一维向量,分别表示6类焊缝缺陷:(1)裂纹;(2)未焊透;(3)未熔合;(4)条状夹渣;(5)球状夹渣;(6)气孔。