1.一种基于立体视觉的工件快速分拣方法,其特征在于:所述方法包括以下步骤:步骤1:设定帧数计数初始值n=1,设定立体匹配帧数间隔M;1≤n≤M+1;
步骤2:启动分拣,分拣模块的机械臂初始化,双目摄像头采集待分拣区域中工件的双目图像;
步骤3:n除以M取余数,若余数为1,则进行步骤4,否则,进行步骤5;
步骤4:获取双目图像,首先对图像进行矫正与校正,然后使用ROI划分法对双目图像进行划分,最后对划分后的ROI区域进行传统的立体匹配,得到当前所属M帧中工件在深度图的像素坐标系中的坐标和视差d,n重置为1;进行步骤6;
步骤5:根据前后帧推算法,以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标,当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d;
步骤6:将步骤4或步骤5推算得到的当前帧中工件在深度图的像素坐标系中的坐标和视差d进行计算,得到工件在相机坐标系下的坐标值,把前述工件在相机坐标系下的坐标值以及工件所属类别存入控制器的存储单元中并覆盖同一个工件前一次存储的值;更新帧数计数值n=n+1;
步骤7:判断是否接收到分拣模块发送的就绪信号,若是,进行下一步,否则,进行步骤
9;
步骤8:将最先待分拣工件在控制器的存储单元中的相机坐标系下坐标值以及工件所属类别发送给分拣模块;分拣模块接收到信息,按类分拣;
步骤9:判断是否接收到结束信号,若是,进行下一步,否则,进行步骤3;
步骤10:分拣结束。
2.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:所述步骤4包括以下步骤:步骤4.1:获取双目图像,进行矫正与校正,得到消除畸变并行对准之后的左目和右目图;
步骤4.2:对双目图像中的工件进行识别以及定位,获取工件在像素坐标系下坐标值和工件的所属类别;
步骤4.3:根据工件在像素坐标系下的坐标值,在竖直列方向上进行ROI区域划分,将双目图像在竖直方向上顺次划分为无效区域、ROI区域、无效区域;
步骤4.4:对ROI区域的双目图像进行立体匹配得到深度图,对深度图中对应工件坐标处的灰度值进行转化计算,得到工件对应的视差d,把视差d和所述工件在像素坐标系下的坐标作为所属M帧的基准值,最后把n重置为1;进行步骤6。
3.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:所述步骤5中,以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标包括以下步骤:步骤5.1:当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d,计算相机坐标系下Z轴上的坐标 其中,f为摄像头的焦距,T为双目摄像头的左目和右目间的水平距离,d为视差;
步骤5.2:令xi+1-xi为工件在两帧间隔的时间内在像素坐标系下水平方向上的变化值,则有 其中,xi和xi+1分别为第i帧和第i+1帧时工件在像素坐标系下的水平坐标,u0为图像坐标系的原点在像素坐标系下的横坐标值,f为双目摄像头的焦距,dx为双目摄像头的成像平面上的像素点在水平方向上的大小,Zc=Z,v为传送带运动速度,F为帧率;
步骤5.3:当前帧中工件在深度图的像素坐标系中的坐标为前一帧中的工件在深度图的像素坐标系中的坐标在水平方向上加S,垂直方向上保持不变。
4.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:所述步骤6中,根据工件在像素坐标系下的坐标以及视差d,得到工件在相机坐标系下的坐标包括以下步骤:步骤6.1:分别构建图像坐标系、相机坐标系、像素坐标系,图像坐标系、相机坐标系、像素坐标系的x轴和y轴分别相互平行;
步骤6.2:得到像素坐标系与图像坐标系的转换关系 其中,
u和v为工件在像素坐标系下的横坐标值和纵坐标值,x和y为工件在图像坐标系下的横坐标值和纵坐标值,u0和v0为图像坐标系的原点在像素坐标系下的横坐标值和纵坐标值,dx和dy分别为双目摄像头的成像平面上像素点在水平方向上的大小和像素点在竖直方向上的大小,单位为毫米/像素;
步骤6.3:得到图像坐标系和相机坐标系的转换关系 其
中,x和y为工件在图像坐标系下的横坐标值和纵坐标值,f为摄像头的焦距,Xc、Yc和Zc为工件在相机坐标系下的X轴坐标值、Y轴坐标值和Z轴坐标值, T为双目摄像头的左目和右目间的水平距离,d为当前工件在像素坐标系下对应的视差;
步骤6.4:根据步骤6.2和步骤6.3,得到像素坐标系和相机坐标系的转换关系即根据工件在像素坐标系下的坐标以及视差d,得到工件在相机坐标系下的坐标。
5.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:所述步骤2中,对双目摄像头采集的图像进行显示,判断双目摄像头是否正常工作,若是,进行下一步,若否,进行步骤10。
6.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:在双目摄像头采集图像时,采用左目摄像头的光心为相机坐标系的原点。
7.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法,其特征在于:像素坐标系原点采用采集图像左上角的顶点。
8.一种采用权利要求1~7之一所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置,包括工作台,其特征在于:所述工作台上设有传送带,所述工作台上方设有双目摄像头,所述双目摄像头的基线平行于传送带运动方向;所述工作台侧部设有分拣模块,所述分拣模块包括机械臂;所述传送带、双目摄像头和分拣模块与控制器连接,所述控制器还连接有显示器。
9.根据权利要求8所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置,其特征在于:所述双目摄像头配合设有补光器。
10.根据权利要求8所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置,其特征在于:所述控制器包括:一图像矫正与校正单元,用于得到无畸变和行对准之后的双目图像;
一工件识别和定位单元,用于对分拣的工件所属类目进行识别以及工件在像素坐标系下位置的获取;
一立体匹配单元,在工件位置获取后对当前双目图像感兴趣区域即ROI区进行立体匹配生成深度图;
一存储单元,用于存储待分拣区域中每个工件的坐标以及对应的所属类别;
一通信单元,用于与分拣模块进行通信,从存储单元中取出一个工件对应的坐标以及所属类别,发送给分拣模块进行按类分拣。