欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022114323563
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种移动机器人目标定位方法,其特征在于,包括:

目标识别步骤,采集目标彩色图像及深度图像,通过一预训练后的MobileNetV3‑SSD模型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框;

深度信息获取步骤,建立Kinect v2摄像机模型并进行摄像机标定,得到彩色摄像机、深度摄像机的内参数、畸变参数及外参数,以建立彩色图像向深度图像转换的配准关系,并基于一优化误差函数对所述配准关系进行迭代优化,基于优化后的配准关系得到目标在深度图像的深度区域框,所述优化误差函数通过以下计算模型计算得到:,

其中, 是迭代i次后的目标点在彩色图像平面的彩色投影坐标,prgb0为目标点在彩色图像上真实像素坐标,i=1,2,…,n,n为迭代次数,所述配准关系基于如下计算模型计算得到:‑1 ‑1 ‑1

ρ1pdepth=ρ2AdepthRdepthRrgb Argb prgb+Adepth(Tdepth‑RdepthRrgb Trgb),其中,ρ1为深度图像中的深度信息,ρ2为彩色图像中的深度信息,prgb为目标点在彩色图像平面的彩色投影坐标,pdepth为目标点在深度图像平面的深度投影坐标,Argb和Adepth为彩色摄像机和深度摄像机的内参数,Rrgb和Trgb为彩色摄像机的外参数,Rdepth及Tdepth为深度摄像机的外参数;

点云数据获取步骤,通过遍历所述深度区域框获取其内所有有效深度数据,基于一预设避障范围选取所述有效深度数据中的避障目标深度数据,并获取目标在深度摄像机坐标系下的点云数据;

目标定位步骤,将所述点云数据转换至彩色摄像机坐标系以确定目标在彩色摄像机坐标系下的位姿,拟合得到所述移动机器人的避障目标区域。

2.根据权利要求1所述的移动机器人目标定位方法,其特征在于,所述深度信息获取步骤包括:配准关系建立步骤,建立Kinect v2摄像机模型并进行摄像机标定,得到彩色摄像机和深度摄像机的内参数Argb和Adepth、畸变参数、彩色摄像机的外参数Rrgb和Trgb及深度摄像机的外参数Rdepth及Tdepth,从而计算出彩色摄像机和深度摄像机坐标系之间的旋转矩阵和平移向量,建立彩色图像向深度图像转换的配准关系;

配准迭代优化步骤,基于Kinect v2中彩色摄像机和深度摄像机标定后的真实旋转平移关系以及Kinect v2摄像机模型,对配准进行迭代优化。

3.根据权利要求2所述的移动机器人目标定位方法,其特征在于,所述配准迭代优化步骤进一步包括:深度值获取步骤,使彩色摄像机和深度摄像机处于设定近似平行关系后旋转深度摄像机使彩色摄像机和深度摄像机处于真实旋转平移关系,分别采集对应关系下所述目标点在深度图像的深度值,得到初始深度值ρ10=zdepth0及更新深度值ρ11=zdepth1;

优化误差函数建立步骤,根据所述真实旋转平移关系及深度摄像机坐标系和彩色摄像机坐标系各自的外参数将深度摄像机坐标Pdepth1转换得到彩色投影坐标prgb1,并建立所述优化误差函数;

优化误差函数迭代步骤,配置迭代范围对深度值ρ1i=zdepthi进行迭代,得到误差函数最小的深度值并将对应深度投影坐标经坐标系转换得到所述目标点的彩色摄像机坐标 ,实现所述目标点彩色图像向深度图像的配准。

4.根据权利要求1所述的移动机器人目标定位方法,其特征在于,所述有效深度数据通过将深度图像转换为灰度图像后,基于如下计算模型计算得到:depth_value=k×gray_value,

其中,k为尺度因子;gray_value为灰度值。

5.根据权利要求4所述的移动机器人目标定位方法,其特征在于,所述点云数据通过如下计算模型计算得到:,

其中,(u,v)用于深度图像上的坐标点,d为坐标点的深度值,fx、fy表示深度摄像机的焦距f在x、y方向上像素度量,cx、cy表示光轴对于投影平面坐标中心的偏移量。

6.根据权利要求1所述的移动机器人目标定位方法,其特征在于,所述移动机器人的避障目标区域为球面,通过构造一目标函数并对所述目标函数的向量求解偏导数为0求解所述球面;

其中,所述球面表示为: ;

所述目标函数表示为:

7.根据权利要求6所述的移动机器人目标定位方法,其特征在于,所述避障目标区域还包括一检测得到的避障目标最远距离构成的平面,所述避障目标区域通过如下计算模型计算得到:,

其中,zmax为所述目标最远距离,δ为预设避障安全裕度。

8.一种移动机器人目标定位系统,用于实现如权利要求1‑7中任一项所述的移动机器人目标定位方法,其特征在于,包括:目标识别模块,用于采集目标彩色图像及深度图像,通过一预训练后的MobileNetV3‑SSD模型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框;

深度信息获取模块,用于建立Kinect v2摄像机模型并进行摄像机标定,得到彩色摄像机、深度摄像机的内参数、畸变参数及外参数,以建立彩色图像向深度图像转换的配准关系,并基于一优化误差函数对所述配准关系进行迭代优化,基于优化后的配准关系得到目标在深度图像的深度区域框,所述配准关系基于如下计算模型计算得到:‑1 ‑1 ‑1

ρ1pdepth=ρ2AdepthRdepthRrgb Argb prgb+Adepth(Tdepth‑RdepthRrgb Trgb),其中,ρ1为深度图像中的深度信息,ρ2为彩色图像中的深度信息,prgb为目标点在彩色图像平面的彩色投影坐标,pdepth为目标点在深度图像平面的深度投影坐标,Argb和Adepth为彩色摄像机和深度摄像机的内参数,Rrgb和Trgb为彩色摄像机的外参数,Rdepth及Tdepth为深度摄像机的外参数;

点云数据获取模块,用于通过遍历所述深度区域框获取其内所有有效深度数据,基于一预设避障范围选取所述有效深度数据中的避障目标深度数据,并获取目标在深度摄像机坐标系下的点云数据;

目标定位模块,用于将所述点云数据转换至彩色摄像机坐标系以确定目标在彩色摄像机坐标系下的位姿,拟合得到所述移动机器人的避障目标区域。

9.根据权利要求8所述的移动机器人目标定位系统,其特征在于,所述深度信息获取模块包括:配准关系建立模块,用于建立Kinect v2摄像机模型并进行摄像机标定,得到彩色摄像机和深度摄像机的内参数Argb和Adepth、畸变参数、彩色摄像机的外参数Rrgb和Trgb及深度摄像机的外参数Rdepth及Tdepth,从而计算出彩色摄像机和深度摄像机坐标系之间的旋转矩阵和平移向量,建立彩色图像向深度图像转换的配准关系;

配准迭代优化模块,用于基于Kinect v2中彩色摄像机和深度摄像机标定后的真实旋转平移关系以及Kinect v2摄像机模型,对配准进行迭代优化。

10.根据权利要求9所述的移动机器人目标定位系统,其特征在于,所述配准迭代优化模块进一步包括:深度值获取模块,用于使彩色摄像机和深度摄像机处于设定近似平行关系后旋转深度摄像机使彩色摄像机和深度摄像机处于真实旋转平移关系,分别采集所述目标点在深度图像的深度值,得到初始深度值ρ10=zdepth0及更新深度值ρ11=zdepth1;

优化误差函数建立模块,用于根据所述真实旋转平移关系及深度摄像机坐标系和彩色摄像机坐标系各自的外参数将深度摄像机坐标Pdepth1转换得到彩色投影坐标prgb1,并建立优化误差函数;

优化误差函数迭代模块,用于配置迭代范围对深度值ρ1i=zdepthi进行迭代,得到误差函数最小的深度值并将对应深度投影坐标经坐标系转换得到所述目标点的彩色摄像机坐标,实现所述目标点彩色图像向深度图像的配准。