欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020109395223
申请人: 南京师范大学镇江创新发展研究院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种机器人视觉导航中视觉里程计构建方法,其特征在于,包括以下步骤:步骤1,读取原始图像,通过双阈值法提取特征点并获得特征点的位置;

步骤2,通过YOLOv3算法对原始图像进行目标检测,获取物体边界框的位置;

步骤3,根据特征点的位置及物体边界框的位置,判断特征点是否在物体边界框内,剔除不在物体边界框内的特征点,获得在物体边界框内的特征点;

步骤4,对物体边界框内的特征点进行光流跟踪,获取在物体边界框内特征点的运动位置;

步骤5,根据步骤4得到的运动位置,通过光流极线法进行动态特征点的判定,判断在物体边界框内的特征点是静态特征点还是动态特征点;

步骤6,根据物体边界框内的动态特征点来判断物体运动情况,当物体边界框内动态特征点的数目达到一定阈值,则判定物体边界框内物体是运动的,剔除物体边界框内所有的特征点,获取静态物体特征点,即为有效特征点;

步骤7,根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。

2.根据权利要求1所述的方法,特征在于,步骤1包括:步骤1-1:在原始图像中任取二十个像素p1,p2......p20,p20表示选取的第20个像素,分别检测出它们的亮度Ip1,Ip2......Ip20,设定阈值Tp1:Ipi为所取的第i个像素点的亮度,i取值为1~20;

步骤1-2:在原始图像上任意选取像素p,检测出它的亮度Ip,设定阈值Tp2,Tp2为Ip的

20%;

步骤1-3:以像素p为中心选取半径为3的圆上16个像素点;

步骤1-4:如果选取出的圆上,有连续十二个像素点的亮度大于 或者圆上有连续十二个像素点的亮度小于 则像素p这个点标记为特征点,获取这个特征点的坐标(xr,yr)并保存;其中,xr表示特征点的行坐标,yr表示特征点的列坐标;

步骤1-5:循环步骤1-2~步骤1-4,对原始图像上的每一个像素点执行相同操作,得到特征点以及特征点位置。

3.根据权利要求2所述的方法,特征在于,步骤3包括如下步骤:步骤3-1:对比步骤1获取的特征点位置与步骤2获取的物体边界框的位置,判断特征点是否在物体边界框内;

步骤3-2:剔除不在物体边界框内的特征点,保留在物体边界框内的特征点;

步骤3-3:重复步骤3-1~步骤3-2,直至步骤1获取的特征点与步骤2获取的物体边界框都比较完毕。

4.根据权利要求3所述的方法,特征在于,步骤4包括:步骤4-1:任取一个在步骤3获取的在物体边界框内的特征点(x,y),记录当前时刻为t,记该特征点在t+dt时刻,运动到(x+dx,y+dy)处;

其中,x表示所取的特征点在t时刻的行坐标,y表示所取的特征点在t时刻的列坐标,(x,y)表示所取的特征点在t时刻的坐标,t+dt表示摄像头读取到下一帧图像的时刻,x+dx表示所取的特征点在t+dt时刻的行坐标,y+dy表示所取的特征点在t+dt时刻的列坐标,(x+dx,y+dy)表示所取的特征点在t+dt时刻的坐标;

步骤4-2:设定同一个空间点的像素灰度值固定不变,以I(x,y,t)描述所取的特征点在t时刻的灰度值,I(x+dx,y+dy,t+dt)表示所取的特征点在t+dt时刻的灰度值,则I(x+dx,y+dy,t+dt)=I(x,y,t);通过泰勒级数对方程进行展开,保留一阶项,得到:由于灰度值不变,则有

其中, 表示当前帧图像在所取的特征点处x方向的偏导,Ix表示当前帧图像在所取的特征点处x方向的梯度,

表示当前帧图像在所取的特征点处y方向的偏导,

Iy表示当前帧图像在所取的特征点处y方向的梯度,

表示当前帧图像灰度对时间的变化量的偏导,

It表示当前帧图像灰度对时间的变化量,

u,v分别表示所取的特征点在x轴上的运动速度、y轴上的运动速度;

步骤4-3:设定一个窗口内的像素具有相同的运动,则在一个大小为3×3的窗口中,利用最小二乘法,则有其中,

It1至It9为所述的大小为3×3的窗口中的九个像素点的灰度值,Ix1至Ix9为所述的大小为3×3的窗口中的九个像素点x方向的梯度,Iy1至Iy9为所述的大小为3×3的窗口中的九个像素点y方向的梯度;AT表示矩阵A的转置,(ATA)-1表示矩阵AT与矩阵A乘积的逆矩阵;

步骤4-4:根据步骤4-3得到的所取的特征点在x轴,y轴上的运动速度 得到所取的特征点在t+dt时刻的(x+dx,y+dy)=(x+udt,y+vdt);

步骤4-5:通过对连续两帧图像进行光流追踪,获得步骤3在物体边界框内特征点在下一帧图像对应的匹配点。

5.根据权利要求4所述的方法,特征在于,步骤5包括:步骤5-1:任取步骤4-5所获得的八对匹配点,计算基础矩阵F,计算公式如下:其中,qk=(uk,vk,1),q′k=(u′k,v′k,1)分别表示所得到的八对匹配点中第k对匹配点归一化后的坐标,k的取值为1~8;uk,uk'分别表示所得到的八对匹配点中第k对匹配点归一化后的行坐标,vk,vk'分别表示所得到的八对匹配点中第k对匹配点归一化后的列坐标;

步骤5-2:利用步骤5-1得到的基础矩阵F,以步骤4在t时刻坐标为(x,y)的特征点为例,将所述特征点投影到t+dt时刻的图像,得到在t+dt时刻该特征点对应的极线l2:l2=Fq,

其中,q表示步骤4-1所取的特征点在t时刻的坐标(x,y)归一化后的坐标(x1,y1,1)。

步骤5-3:计算步骤5-2所取特征点在t+dt时刻的匹配点q'到极线l2的距离D,距离公式如下:其中q'表示步骤5-2所取特征点在t+dt时刻对应的匹配点归一化坐标(x1',y1',1),表示q1′的转置,q0表示步骤5-2所取特征点在t时刻的坐标(x,y),X,Y分别表示极线l2一般式中自变量与因变量的系数;

步骤5-4:判断距离D与阈值m关系,如果距离D大于阈值m,则判定所取的特征点是一个动态点;

步骤5-5:重复步骤5-2~步骤5-4,直至在物体边界框内特征点都判断完毕。

6.根据权利要求5所述的方法,其特征在于,步骤6包括:步骤6-1:将步骤5所获得的动态特征点位置保存,对比步骤5得到的动态特征点的位置与步骤2获得的物体边界框的位置,获得动态特征点落在物体区域的数目;

步骤6-2:判断步骤6-1获取到的动态特征点落在物体区域的数目与阈值n的大小,如果数目大于阈值n,则判定步骤2检测到的物体边界框内物体是运动的,剔除物体边界框内所有的特征点;

步骤6-3:重复步骤6-1~步骤6-2,直至步骤5得到的动态特征点与物体边界框都比较完毕,获得静态特征点,即为有效特征点。

7.根据权利要求6所述的方法,特征在于,步骤7包括如下步骤:步骤7-1:根据步骤6获得的有效特征点计算位姿估计本质矩阵;

步骤7-2:根据本质矩阵恢复相机的运动信息,得到相机旋转矩阵与平移矩阵,从而估算出相机位姿。