欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020112293070
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,包括:主端可穿戴遥操作控制装置,被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据,并执行手势识别算法和目标跟踪算法;

所述目标跟踪算法设计为一种级联集成跟踪器,具体过程包括:步骤1、将含有初始跟踪区域的图像x由分辨率低到分辨率高切割为R级栅格状图像组

1 r R

[x ,…,x ,…,x],每一级栅格状图像均包含若干子图像且每一级栅格状图像中的子图像均是由对当前帧图像按照其宽度和高度等比例分割而来;

1 r R

步骤2、对R级栅格状图像组[x ,…,x ,…,x ]按照分辨率由低到高的顺序,计算第r级r

图像x中每一幅子图像 包含的跟踪区域面积占每幅子图像面积的比例P,如果P超过预设值,则将该子图像的标签 定义为正样本 否则定义为负样本 其中r=1,...,R;

r

步骤3、给第r级图像x中的每一幅子图像 赋予一个权重 并且将权重初始化r

其中,Nr表示第r级图像x中子图像的个数;

1 r R r

步骤4、针对R级图像组[x ,…,x ,…,x]中的每一级图像均设计一个强分类器H ,R个强分类器可组成一个级联集成跟踪器H;每个强分类器由Tr个弱分类器组成;根据弱分类器对每一级图像的分类误差,确定每一个弱分类器的权重,同时更新每一级图像的每一幅子图像的权重;

步骤5、对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取;

1 r R

步骤5.1、将新的监控图像x+1切割为R级栅格状图像组[(x+1) ,…,(x+1) ,…,(x+1) ];

1

步骤5.2、对于新的目标跟踪区域,按照步骤2的方法对R级栅格状图像组[(x+1) ,…,(xr R

+1) ,…,(x+1) ]按照从低分辨率到高分辨率的顺序,重新定义每级图像的每一幅的子图像的标签为正样本或负样本;

步骤5.3、对第r级图像的Tr个弱分类器按照其权重大小进行排序,去掉权重最低的Kr个弱分类器,然后重新增加Kr个新的弱分类器;

r

步骤5.4、重新给第r级图像(x+1) 中的每一幅子图像的权重 初始化为 重新给第r r

r级图像(x+1)设计一个强分类器H ,并重新设计一个级联集成跟踪器H;其中,Nr表示第r级r

图像x中子图像的个数;

从端机器人,被配置为接收控制指令,并根据所述控制指令执行相应的动作,并向主端可穿戴遥操作控制装置返回采集到的数据;

所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块,分别用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹;

可穿戴摄像头用于采集操作员的手势图像,并根据手势的运动轨迹来实现对侦察图像中可疑待跟踪目标的选取;通过可疑待跟踪目标区域的中心与侦察图像的中心之间的偏差,控制从端机器人始终瞄准目标。

2.如权利要求1所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述主端可穿戴遥操作控制装置还包括:遥操作控制器,以及与所述遥操作控制器连接的主端无线通信设备。

3.如权利要求1所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述从端机器人包括:移动机器人本体、车载控制器,以及分别与车载控制器连接的从端无线通信设备、多自由度机械臂和侦察摄像头;侦察摄像头安装在多自由度机械臂末端用于采集侦察数据。

4.如权利要求3所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述车载多自由度机械臂包括连杆机构、机械臂驱动器和机械臂驱动电机组;车载控制器将控制命令发送至机械臂驱动器,机械臂驱动器驱动机械臂驱动电机组的相应电机,实现连杆机构角度和位置的移动,从而改变多自由度机械臂的各关节的关节角信息,从而改变机械臂末端位姿。

5.一种基于可穿戴视觉的机器人视觉跟踪控制方法,其特征在于,包括:设置用于表示手势运动轨迹开始保存和停止保存的鼠标手型;

分别设置主端可穿戴遥操作控制装置可穿戴摄像头拍摄图像的坐标系和从端机器人拍摄图像的坐标系,以及从端机器人多自由度机械臂的末端坐标系;

主端可穿戴遥操作控制装置通过采集主端操作图像,判断图像中是否出现鼠标手型;

如果出现鼠标手型,则提取所述鼠标手型的运动轨迹的坐标集合,并将所述坐标集合在头戴显示模块显示图像的当前帧中所划定的区域作为目标跟踪算法的初始跟踪区域;

执行目标跟踪算法;所述目标跟踪算法设计为一种级联集成跟踪器,具体过程包括:步骤1、将含有初始跟踪区域的图像x由分辨率低到分辨率高切割为R级栅格状图像组

1 r R

[x ,…,x ,…,x],每一级栅格状图像均包含若干子图像且每一级栅格状图像中的子图像均是由对当前帧图像按照其宽度和高度等比例分割而来;

1 r R

步骤2、对R级栅格状图像组[x ,…,x ,…,x ]按照分辨率由低到高的顺序,计算第r级r

图像x中每一幅子图像 包含的跟踪区域面积占每幅子图像面积的比例P,如果P超过预设值,则将该子图像的标签 定义为正样本 否则定义为负样本 其中r=1,...,R;

r

步骤3、给第r级图像x中的每一幅子图像 赋予一个权重 并且将权重初始化r

其中,Nr表示第r级图像x中子图像的个数;

1 r R r

步骤4、针对R级图像组[x ,…,x ,…,x]中的每一级图像均设计一个强分类器H ,R个强分类器可组成一个级联集成跟踪器H;每个强分类器由Tr个弱分类器组成;根据弱分类器对每一级图像的分类误差,确定每一个弱分类器的权重,同时更新每一级图像的每一幅子图像的权重;

步骤5、对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取;

1 r R

步骤5.1、将新的监控图像x+1切割为R级栅格状图像组[(x+1) ,…,(x+1) ,…,(x+1) ];

1

步骤5.2、对于新的目标跟踪区域,按照步骤2的方法对R级栅格状图像组[(x+1) ,…,(xr R

+1) ,…,(x+1) ]按照从低分辨率到高分辨率的顺序,重新定义每级图像的每一幅的子图像的标签为正样本或负样本;

步骤5.3、对第r级图像的Tr个弱分类器按照其权重大小进行排序,去掉权重最低的Kr个弱分类器,然后重新增加Kr个新的弱分类器;

r

步骤5.4、重新给第r级图像(x+1) 中的每一幅子图像的权重 初始化为 重新给第r r

r级图像(x+1)设计一个强分类器H ,并重新设计一个级联集成跟踪器H;其中,Nr表示第r级r

图像x中子图像的个数;

计算头戴显示模块显示图像的坐标系原点与跟踪区域的中心点之间的偏移向量,远程控制从端机器人多自由度机械臂的末端坐标系的原点向着能使所述偏移向量减小的方向运动;

在头戴显示模块的图像中更新跟踪区域并将新的跟踪区域作为下一帧中目标跟踪算法的初始跟踪区域。

6.如权利要求5所述的一种基于可穿戴视觉的机器人视觉跟踪控制方法,其特征在于,对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取,具体过程包括:

将新的监控图像x+1切割为R级栅格状图像组;

r r

然后针对R级栅格状图像组中的第r级图像(x+1) 使用强分类器H 对第r级图像的每一幅子图像进行分类,分类结果为属于目标跟踪区域或者不属于目标跟踪区域;R个强分类器的分类结果决定了级联集成跟踪器的最终输出,也即决定了目标跟踪区域的提取。

7.一种主端可穿戴遥操作控制装置的遥操作控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求5‑6任一项所述的基于可穿戴视觉的机器人视觉跟踪控制方法。

8.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行权利要求5‑6任一项所述的基于可穿戴视觉的机器人视觉跟踪控制方法。

我要求购
我不想找了,帮我找吧
您有专利需要变现?
我要出售
智能匹配需求,快速出售