欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021110053202
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于计算机视觉的板材分拣系统,其特征在于,其包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置;

所述图像采集装置包括多个双目相机,所述双目相机安装在所述分拣机器人的机械手上进行图像信息采集;所述信息传输装置将所述图像采集装置采集的图像和所述数据处理分析装置的分拣结果传输到显示装置上;

所述数据处理分析装置安装在所述分拣机器人的机械手上,所述数据处理分析装置能够对不同尺寸的矩形板材图像进行矩形角点检测并与板材类型数据库进行匹配以此计算出门板的实际尺寸和位置,并将结果作为输出信号传输给分拣机器人控制器实现控制分拣机器人完成分拣;所述数据处理分析装置包括以下功能模块:图像拼接模块,用于将多个双目相机采集的图像进行拼接以扩大图像视野;

板材区域提取模块,用于对拼接后的大视野图像进行板材检测;

板材角点检测模块,用于对图像中板材局部区域进行板材的角点检测;

角点匹配模块,用于对双目相机左右图像分别提取的板材角点进行匹配;

板材分拣模块,能够根据检测到的板材角点计算板材实际尺寸与板材尺寸库进行尺寸匹配,然后根据检测到的板材角点计算板材中心位置,并将结果信息传送至分拣机器人的控制器控制机械手完成分拣;

数据存储模块,用于存储相机的参数信息和板材板型尺寸库,并记录检测过程中的图像数据和检测日志。

2.一种基于计算机视觉的板材分拣方法,其特征在于,其包括以下步骤:S1、相机标定;

S2、板材检测模型的训练;

S3、板材图像的采集:

S4、使用板材检测模型对步骤S3中采集的图像进行板材区域提取;

S5、对步骤S4提取出的板材区域进行角点检测;

S51、图片预处理:将采集的图像转换成灰度图;

S52、图像边缘提取:使用Edge Drawing边缘检测算法提取边缘像素链;

S53、提取边缘线段:对步骤S52提取的边缘图使用最小二乘线拟合法生成最小长度的初始线段,再通过增加像素点来扩大线段;

S54、边缘线段筛选:通过板材边缘直线的几何特征对步骤S53提取的边缘线段进行筛选,并对短线段、重复线段进行聚合;

具体包括以下步骤:

S541、不规则线段筛选:根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征,筛选出不规则的线段;

S542、短线段或重复线段的聚合:对复杂边缘提取的多条短线段或重复线段进行筛选,设置线段距离最小阈值,两直线距离计算定义为一条直线的中点到另一条直线的距离,其表达式如下:

其中,d表示两条线段的距离, 表示线段i的两个端点坐标,表示线段i中心点的坐标;

S55、计算边缘直线交点:计算筛选后的直线交点,其表达式如下:其中,(x,y)表示两条直线交点, 表示第i条直线的斜率和截距;

S56、提取板材角点:根据板材角点在极坐标系下的特征对所有交点进行筛选;

具体包括以下步骤:

S561、极坐标系原点选取:根据板材角点在图像坐标系下的坐标特点,选取位于最左下角位置的板材角点作为极坐标系的原点;

S562、所有交点在极坐标系下的特征计算:计算极坐标系下的所有交点的坐标,包括极角和幅值,其表达式如下:

其中,(ρ,θ)表示交点的极坐标,(xi,yi)表示第i个交点,(x0,y0)表示极坐标系原点;

S563、板材角点筛选:根据板材其余角点在极坐标系下的极角和幅值特征进行筛选;

S6、对步骤S5提取的板材角点进行角点匹配;

S7、板材分拣;

S71、将步骤S6中匹配好的特征点按照双目相机标定好的内外参进行深度恢复,计算出板材特征角点在相机坐标系下的三维坐标;

S72、将不同双目相机恢复出的所有角点的坐标转换到龙门机器人末端机械手坐标系下;

S73、由角点的三维坐标计算板材实际尺寸,并与门型尺寸库进行匹配;

S74、板材定位:根据板材角点的三维坐标通过矩形特征计算板材中心坐标,其表达式如下:

并将坐标传回处理器控制分拣机器人机械手对板材进行抓取;其中,(x,y,z)表示板材中心点三维坐标,(xi,yi,zi)表示板材角点三维坐标。

3.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,所述步骤S1相机标定包括双目相机组内外参标定和主相机与末端机械手的手眼标定,通过标定确定双目相机的内参和相机间外参矩阵以及主相机坐标系与龙门机器人末端机械手坐标系的变换矩阵。

4.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,所述步骤S2具体包括:

S21、虚拟数据集制作:使用Unity3D软件建立分拣机器人分拣任务场景仿真,在虚拟场景下拍摄不同背景下带有板材的图片制作数据集,并进行标注;

S22、预训练模型:使用YOLO算法对虚拟数据集进行训练,得到板材检测模型。

5.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,所述步骤S3具体包括:分拣机器人带动双目相机巡航工作区域,采集带有板材的图像,并对多个双目相机采集的左右图像分别进行实时拼接。

6.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,步骤S52具体包括:

S521、高斯滤波:首先对图像进行平滑处理,通过高斯滤波器抑制图像噪声输出平滑图像;

S522、使用梯度算子计算梯度的幅值和像素的方向;

S523、选取梯度算子得到的极大值的像素作为锚点;

S524、连接锚点:从当前锚点利用相邻像素的梯度幅值和方向连接到下一锚点,最终产生具有单像素宽的边缘图。

7.根据权利要求6所述基于计算机视觉的板材分拣方法,其特征在于,步骤S53中通过增加像素点来扩大线段具体包括:拟合到最小长度的初始线段后,继续浏览边缘像素链的剩余像素并计算每个像素到当前拟合线的距离,当像素在当前拟合线的一定距离内,则添加像素到当前线段内,直到线的方向发生改变,最后输出每条拟合线段的两个端点。

8.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,步骤S563中板材角点在极坐标系下的特征定义为:选取每组中左下角点作为极坐标系的原点,即板材矩形角点的左下角点;板材矩形角点的右下角点特征为在极坐标系下的角度最小,幅值最大;板材矩形角点的右上角点特征为在极坐标系下的幅值最大;板材矩形角点的左上角点的特征为在极坐标系下的角度最大,幅值最大。

9.根据权利要求2所述基于计算机视觉的板材分拣方法,其特征在于,步骤S6具体包括:

S61、对板材检测模型提取的板材区域进行区域排序,进行板材区域匹配;

S62、分别将左右图像中的板材区域特征点按照由左至右由下至上依次排序;

S63、对应板材区域内的左右图像一一进行特征点顺序匹配。