欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019106653269
申请人: 青岛理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于RGB-D图像及示教器的机器人示教系统,其特征在于:包括RGB-D相机(10)、上位机(20)、姿态示教器(30)和AR示教系统(40),所述RGB-D相机(10)、姿态示教器(30)与所述上位机(20)进行通信连接,所述RGB-D相机(10)设于物理工作环境中,所述AR示教系统(40)包括位于物理工作环境中的AR注册卡(41)和运行于上位机(20)中的增强现实模块(42)、包含机器人末端执行器的虚拟机器人模型(43)、路径规划单元(44)和姿态示教单元(45),所述RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20),所述增强现实模块(42)设置虚拟场景中虚拟相机位置,并将虚拟机器人模型(43)叠加在RGB图像上,完成增强现实注册;所述路径规划单元(44)显示所述RGB图像和深度图像,示教编程人员(70)在RGB图像上交互选择机器人末端执行器的路径点,根据深度图像和RGB图像之间的变换关系,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标;所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据,上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据,然后虚拟机器人模型(43)根据所述三维坐标运动,运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据,使虚拟机器人模型(43)按照示教位姿运动,完成示教。

2.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:所述AR示教系统(40)还包括运行于上位机(20)中的虚实碰撞检测模块(46),所述虚拟机器人模型(43)按照示教位姿运动时,通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉,若存在,则发出提示,示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求;

示教完成后,对所述路径点进行编辑形成路径轨迹,上位机(20)根据编辑后的路径轨迹,按照物理机器人编程系统的指令格式生成程序代码,并将程序代码传递至物理机器人控制器(60),控制物理机器人(50)在物理工作环境中工作。

3.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:所述姿态示教器(30)包括信号处理单元(31)以及与所述信号处理单元(31)连接的惯性测量单元(32)、开关按钮输入单元(33)、无线通信单元(34)和界面显示单元(35);所述惯性测量单元(32)内置的惯性传感器测量出姿态示教器(30)在东北天坐标系下的姿态数据;示教编程人员(70)通过所述开关按钮输入单元(33)设置机器人末端执行器的参数信息,所述开关按钮输入单元(33)将按钮设定的参数信息传送给信号处理单元(31);参数信息和姿态数据经所述信号处理单元(31)处理后由无线通信单元(34)发送至上位机(20),上位机(20)接收到后驱动虚拟机器人模型(43);所述界面显示单元(35)实时显示姿态示教器(30)的工作状态及工作数据。

4.根据权利要求3所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:所述上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据和参数信息,然后虚拟机器人模型(43)根据所述三维坐标运动,运动的过程中将接收到的姿态数据和参数信息记录当前运动所在路径点的三维坐标对应的姿态数据和参数信息,使虚拟机器人模型(43)按照示教位姿运动,完成示教。

5.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:在上位机(20)中建立虚拟机器人模型(43),具体地,在上位机(20)中按照比例绘制与物理机器人(50)相同的物理机器人三维模型和机器人末端执行器的三维模型,然后根据物理机器人(50)和物理机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型,建立了所述虚拟机器人模型(43)。

6.根据权利要求5所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:在上位机(20)创建虚拟机器人模型(43)并完成所述增强现实注册后,所述上位机(20)还执行如下步骤:

S30、建立坐标系并标定映射关系:

S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系,同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系;并将物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合;

S320、在路径规划单元(44)中:建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系,并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。

S330、在姿态示教单元(45)中,通过标定或设置,得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵 姿态示教器的基础坐标系为东北天坐标系,设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵,QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵, 将姿态示教器(30)在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。

7.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于:所述根据深度图像和RGB图像之间的变换关系,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标,具体为:示教编程人员(70)在RGB图像上选择路径点后,标定各路径点的RGB图像像素坐标(u,v),通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H,利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd),然后读取对应的深度值z;标定深度相机的内参矩阵M,通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z);标定深度相机坐标系到RGB相机坐标系的转换矩阵 通过增强现实注册算法识别RGB图像中的AR注册卡(41),计算出在AR注册卡坐标系下的RGB相机位姿矩阵 通过 将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd),然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换,得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z);所述转换关系为:

8.基于RGB-D图像及示教器的机器人示教方法,该方法采用权利要求1至8中任意一项所述的基于RGB-D图像及示教器的机器人示教系统,其特征在于,交互示教编程步骤:

S40、路径轨迹示教:位于物理工作环境中的RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20),在上位机(20)中显示所述RGB图像和深度图像,示教编程人员(70)在RGB图像上通过交互选择机器人末端执行器的路径点,根据深度图像和RGB图像之间的变换关系,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标;

S50、姿态示教:姿态示教器(30)与上位机(20)通信连接;所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据,然后实时发送姿态数据至上位机(20),上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据,然后虚拟机器人模型(43)根据所述三维坐标运动,运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据,根据路径点的位置和姿态数据,利用物理机器人逆运动学模型计算虚拟机器人模型(43)各关节的旋转角度,在增强现实环境中驱动虚拟机器人模型(43)各关节运动,模拟物理机器人(50)的工作过程的运动位置及姿态,完成示教。

9.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法,其特征在于:所述S50步骤中,所述虚拟机器人模型(43)按照示教位姿运动时,通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉,若存在,则发出提示,示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求;

S60、示教数据后处理及增强现实仿真:在示教完成后,上位机(20)对记录的示教路径点轨迹和示教姿态进行编辑处理,上位机(20)根据编辑处理后的数据利用物理机器人逆运动学模型计算物理机器人(50)各关节的旋转角度,驱动虚拟机器人模型(43)运动,在增强现实注册的环境中模拟物理机器人(50)的工作过程。

10.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法,其特征在于:所述步骤S40中,根据深度图像和RGB图像之间的变换关系,计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标,具体为:示教编程人员(70)在RGB图像上选择路径点后,标定各路径点的RGB图像像素坐标(u,v),通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H,利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd),然后读取对应的深度值z;标定深度相机的内参矩阵M,通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z);标定深度相机坐标系到RGB相机坐标系的转换矩阵 通过增强现实注册算法识别RGB图像中的AR注册卡(41),计算出在AR注册卡坐标系下的RGB相机位姿矩阵 通过 将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd),然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换,得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z);所述转换关系为: