欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020106625153
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种动态环境下线拓展视觉里程计方法,其特征在于,对动态物体上的动态特征点进行识别剔除,通过静态特征点的共线关系进行静态直线拓展,具体包括以下步骤:S1,t时刻获取机器人帧图像,并提取机器人帧图像的点特征,将点特征进行匹配计算初始位姿矩阵,t‑1时刻图像根据初始位姿矩阵得到预测t时刻图像;

S2,t时刻通过t时刻图像、t‑1时刻图像和预测t时刻图像进行光流和残差值计算,对动态特征点进行剔除,得到静态特征点;

S3,以S2中的获得的静态特征点,通过寻找共线关系,进行静态直线线段拓展;

S4,根据拓展的直线线段矩形区域内的匹配特征点个数进行拓展直线线段匹配,并同时构建拓展直线线段匹配矩阵;

S5,通过静态特征点和静态拓展直线线段进行BA优化即最小化静态特征点和静态拓展直线线段的重投影误差。

2.根据权利要求1所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述步骤S1 t时刻获取机器人帧图像,并提取机器人帧图像的点特征,将点特征进行匹配计算初始位姿矩阵,t‑1时刻图像根据初始位姿矩阵得到预测t时刻图像,具体包括:S11:t时刻,机器人通过图像Ut提取快速特征点提取和描述ORB特征点,通过特征点匹配得到初始位姿估计θ=(R,T),R为旋转矩阵,T为平移矩阵;

S12:根据t时刻得到的初始位姿估计θt=(R,T)和上一时刻相机观测的地图点Xt‑1,得到t时刻相机观测的预测地图点 将t时刻相机观测到的预测地图点 投影到t时刻图像上得到t时刻预测图像其中,Π代表把地图点投影到图像上操作;T表示位移矩阵,x、y表示在t时刻图像上特征点的坐标,z表示特征点对应的深度。

3.根据权利要求2所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述步骤S2通过t时刻图像、t‑1时刻图像和预测t时刻图像进行光流和残差值计算,对动态特征点进行剔除,具体包括:S13:根据t时刻图像Ut和上一时刻图像Ut‑1计算光流,t时刻预测图像Ut和上一时刻图像Ut‑1计算预测光流,公式如下:表示t‑1时刻到t时刻的光流

S14:根据光流,预测光流和深度值构建残差矩阵M,公式如下:

T

S15:得到残差值d=∑MM,只有当特征点的残差值小于某一阈值λ时,就可判定其为静态特征点,反之则为动态特征点。

4.根据权利要求3所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述S3以S2中的获得的静态特征点,通过寻找共线关系,进行静态直线线段拓展,具体包括:S21:关键帧插入时,使用直线检测算法(LSD),计算每个像素的level‑line angle以构成一个level‑line场,然后level‑line场分割成若干个连通的直线矩形区域,得到当前关键帧的直线线段图像;

S22:共视关键帧生成的地图点都将投影到当前关键帧直线线段图像上,同时对部分不符合要求的投影点进行剔除:S23:地图点经过上述筛选的特征点投影在LSD直线线段图像后,系统将读取特征点投影在线段图像上的灰度值,如果为0,意味着这个点没有投影到直线特征的矩形连通区域内;如果不是,则该点投影到直线特征的矩形连通区域内;

S24:在得到LSD直线线段时,还得到每条直线线段的总体Level‑Line角度,根据特征点的Level‑line角度和投影在该直线线段连通区域的总体Level‑Line角度差值进行比较,若该像素点的Level‑line角度与该连通区域的总体Level‑line角度差值小于某一阈值τ,则可表示该特征点在LSD直线线段上;

S25:将直线线段集合Li中投影到线段矩形区域内地图点Xi小于2个的直线线段进行剔除,最后得到拓展的静态直线线段;

S26:搜索了所有静态特征点的共线的关系完成静态直线拓展后,如果在第i个关键帧上的直线线段集合Li中检测到矩形区域内有两个或多个特征点的直线线段li,j,并且在第m个关键帧上的线段集合Lm中找到相应的特征点的直线lm,n,则表示这两个直线线段是匹配,生成一个共线匹配矩阵来存储共线线段的匹配关系。

5.根据权利要求4所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述步骤S22不符合要求的投影点进行剔除具体包括;1.投影在线段图像之外;2.当前关键帧视图射线v与地图点云平均视图方向n的夹角超过60度,v·n<cos60°;3.地图点到相机中心距离不在地图点云的尺度不变区间内。

6.根据权利要求4所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述步骤S24 LSD矩形连通区域的总体Level‑Line角度如式所示:sin(level‑line_anglej)、cos(level‑line_anglej)分别第j个像素处的Level‑line角度的cos和sin值;

矩形连通区域内的某像素点的Level‑Line方向跟该点的梯度方向垂直,图像中某像素点的梯度向量norm如式所示;

其中

和 分别表示在行方向和列方向的一阶偏导;

7.根据权利要求6所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述S5,通过静态特征点和静态拓展直线线段进行BA优化即最小化静态特征点和静态拓展直线线段的重投影误差,具体包括:3

S31:基于特征点的重投影误差,Xj∈R 为第j个地图点,在第i个关键帧上,这点投影在像平面上可表示为:其中K是相机内参矩阵,θi=(Ri,ti)代表第i个关键帧的位姿,其点的重投影误差可定义为:3

S32:基于线段的重投影误差,给定线段L,p,q∈R为线段上的两个随机点,对直线L进行h h参数化,p,q为p,q在像平面投影的齐次坐标,由它们可得的归一化直线系数为:h h

其中p =π(p,θ,K),q =π(q,θ,K),π表示将地图点投影到像平面的操作,K是相机内参矩阵,θ=(R,T)代表位姿,R为旋转矩阵,T为平移矩阵;

3

pi,j,qi,j∈R为第i个关键帧检测到的第j个直线线段上的两个随机点,它们在像平面投影的其次坐标 为:ai,j,bi,j代表第i个关键帧检测到的第j个直线线段的端点,线段的重投影误差为直线li,j两端点ai,j,bi,j的重投影误差 之和:其中li,j表示第i个关键帧检测到的第j个直线线段,

S33:基于共线关系的重投影误差,Xn为属于直线线段l={X1,X2,…,Xm}上的地图点,pl,3

ql∈R为直线l上的两个随机点,其共线误差定义为:

S34:光束平差法的代价函数C为:

其中N表示线段上的特征点个数,若N大于等于阈值ξ时,最终光束平差法的代价函数C可只计算线投影误差和共线投影误差;小于阈值ξ,则加上ORB‑SLAM自带的点投影误差;ρ代表鲁棒的Huber函数, 代表点特征得信息矩阵, 分别代表线段两端点的信息矩阵, 代表共线误差的信息矩阵。

8.根据权利要求7所述的一种动态环境下线拓展视觉里程计方法,其特征在于,所述S5通过静态特征点和静态直线进行BA优化对位姿进行调整,当得到光束平差法的代价函数C后,通过最小二乘法求解,对机器人位姿进行调整,提高机器人在动态环境下的鲁棒性和精度。