1.基于深度学习与双目视觉的碳素块检测方法,其特征在于,包括以下步骤:
步骤1:通过双目视觉相机标定与手眼标定进行坐标系转换;
步骤2:通过双目立体匹配算法获取视差图,利用视差图匹配碳素块定位坐标进行碳素块位置的初始化;
步骤3:对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照;
在所述步骤3中,包括以下子步骤:
步骤3.1:当碳素块经滚筒带运输到工作区域,控制双目视觉相机拍摄左右图像,对图像进行包括去噪和灰度化的预处理;
步骤3.2:通过背景差分算法进行背景与前景的分离,设置第一帧图像的灰度图作为初始化背景,与第二帧图像对应像素点的灰度值进行差分计算,获得差分图像,对该差分图像进行二值化处理后再进行形态学腐蚀操作,得到图像前景边缘轮廓;通过Gabor小波算法对图像进行边缘特征提取,在不同尺度和方向上进行多维度的滤波,得到不同的边缘特征;将图像前景边缘轮廓和Gabor小波算法提取的边缘特征图像进行图像“与”操作,利用Gabor小波算法消除背景差分算法的误匹配区域,计算图像前景边缘轮廓占整个图像的面积比例;
步骤3.3:将第二帧图像作为新的初始化背景,与第三帧图像进行差分计算,获得新的差分图像,并计算新的差分图像中图像前景边缘轮廓占整个图像的面积比例,依次类推,不断更新初始化背景并计算图像前景边缘轮廓占整个图像的面积比例;
步骤3.4:当比例超过设定阈值时,则判定画面中有运动的物体;背景图与前景图趋于稳定状态,则判定画面中目标碳素块静止,控制双目视觉相机对碳素块拍照;
步骤4:利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度,并计算坐标偏移量和平面旋转角度偏移量;
步骤5:通过Socket将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人,识别与定位过程结束。
2.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,在所述步骤1中,首先进行双目视觉相机进行标定,利用双目视觉相机同时拍摄多组标定图像,获取相机内外参数,利用相机内参数矫正图像畸变,利用相机外参数进行像素坐标系与世界坐标系转换;然后进行机器人与双目视觉相机的手眼标定,进行相机坐标系到机器人坐标系的转换关系。
3.根据权利要求2所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,步骤1中的手眼标定具体过程为:通过机器人机械手拿取标定板,固定双目视觉相机位置不动,拍摄机械手不同位姿下的标定板,获取多组机械手位姿参数和双目视觉相机位姿参数,利用Eye‑To‑Hand手眼标定算法完成双目视觉相机到机器人的坐标系转换,转换公式为AX=XB,其中A表示机器人工具坐标系到机器人基础坐标系的转换矩阵,B表示为相机坐标系到标定板坐标系的转换矩阵,X表示为相机坐标系到机器人坐标系的转换矩阵。
4.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,在所述步骤2中,包括以下子步骤:步骤2.1:双目视觉相机拍摄碳素块的左右图像,对左右图像进行畸变矫正;
步骤2.2:将畸变矫正后的图像输入深度学习算法模型识别初始碳素块类型,并定位碳素块在图像中的位置,获取碳素块的定位点初始二维坐标和初始平面旋转角度;
步骤2.3:通过算法模型判断碳素块的类型是否识别成功,若识别失败,则对工作人员进行警告操作,工作人员结束该过程,若识别成功,则进入步骤2.4;
步骤2.4:通过双目立体匹配算法获取矫正后左右图像的视差图;
步骤2.5:视差图与碳素块的定位点初始二维坐标进行匹配并计算该点的初始三维坐标;
步骤2.6:记录识别的初始碳素块类型、定位点初始三维坐标和初始平面旋转角度,完成碳素块初始化。
5.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,所述步骤3.2中:对差分图像进行大津算法二值化处理:;
通过阈值threshold进行前后背景分割,大于阈值threshold的像素设定为maxval,小于阈值threshold的像素设定为0,图像被分成背景和前景两部分。
6.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,在所述步骤4中,根据双目视觉相机获得的碳素块左右图像,首先利用标定后的相机内参数修正图像畸变;然后将左右图像输入至深度学习算法模型中,获取碳素块种类、定位点后续坐标和后续平面旋转角度;将识别的碳素块种类与初始碳素块种类进行比较,若种类不一致,则结束该过程,若种类一致,则利用双目立体匹配算法,获取左右图像的视差图,匹配该定位点坐标在视差图的位置,将定位点后续二维坐标转化为后续三维坐标;将后续三维坐标、后续平面旋转角度与初始三维坐标、初始平面旋转角度进行偏移量计算。
7.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法,其特征在于,在所述步骤2中和步骤4中,将定位点二维坐标(u , v)和空间三维坐标( X ,Y , Z )的转换公式为:;
其中,Zc为转换因子,dx代表x轴方向一个像素的宽度,dy代表y轴方向上一个像素的宽度,(u0,v0)为图像平面的主点,γ代表像素点在x,y方向上尺度的偏差,f代表相机的焦距,R代表旋转矩阵、T代表平移矩阵;
通过手眼标定算法将空间三维坐标点( X ,Y , Z )转换为机器人坐标所在三维坐标点(Xr, Yr, Zr)。
8.基于深度学习与双目视觉的碳素块检测系统,其特征在于,采用如权利要求1‑7任一项所述的碳素块检测方法,包括标定模块、识别模块、运动检测模块、通信模块以及视频模块;
所述标定模块包括双目视觉相机标定、手眼标定与三维立体匹配;通过双目视觉相机标定获取双目视觉相机的内外参数,用于矫正图像与坐标系转化;手眼标定用于双目视觉相机到机器人的坐标系转换;三维立体匹配用于将图像上坐标点(u, v)转化为三维坐标(x, y, z);
所述识别模块用于将待检测的左右碳素块图像输入深度学习模型得到识别结果;
所述运动目标检测模块用于判断工作区域是否有碳素块,并控制双目视觉相机拍摄左右图像;
所述通信模块用于将碳素块三维信息传输给机器人;
所述视频模块用于连接双目视觉相机并显示视频。