1.一种基于层次主题模型的语义SLAM对象关联方法,其特征在于,所述方法包括以下步骤:
1)对相机进行内参标定得到相机的畸变参数和内参矩阵
其中,[x,y]是归一化平面点的坐标,[xdistorted,ydistorted]是畸变后的坐标,k1,k2,k3,p1,p2是畸变项;
P为相机内参矩阵,其中f为相机焦距,[Ox,Oy]为主光轴点;
2)利用SSD和CNN构建深度学习网络,训练深度学习模型,完成物体识别和物体位姿预测任务;
3)基于层次主题模型的语义SLAM是在ORB-SLAM2的基础上改进得到的,机器人运动过程中,相机会捕捉到一系列的图像I1:T={I1,...,IT},对于每一帧图像,计算相机的位姿xt以及地图点的三维位置,在此过程中,相机的运动方程表示如下:xt=f(xt-1,μt)+ωt,ωt~N(0,Rt) (3.1)其中,μt是运动测量,在视觉SLAM中没有该测量信息,ωt是服从均值为0,方差为Rt的高斯分布的噪声,相机的观测方程表示如下:zt=h(xt,yt)+vt,vt~N(0,Qt) (3.2)将第一帧图像作为关键帧D0,之后的图像以前一帧关键帧为参照,将图像信息变化明显的图像帧设为新的关键帧D1,并添加到关键帧队列,以此类推,假设整个过程中共抽取了k个关键帧,即D0:k={D0,…,Dk},D表示关键帧集合;
4)对每一个关键帧Di作如下操作,0≤i≤k:
a)利用深度学习模型识别关键帧对应的图像上的目标物体,并估计其相对于相机的位姿,则得到该帧图像的对象测量 其中Mi表示在该帧图像中检测到的物体个数;
b)从之前的关键帧队列中筛选与关键帧Di有视角重合的n个关键帧集合,这些关键帧的对象测量的集合记为yc={yc1,...,ycn}.对每一个出现在关键帧Di的对象,将其与yc中所有同类别的对象测量利用层次主题模型Hierarchical Dirichlet Process计算关联概率,根据概率是否大于阈值来判断两个对象是否关联;
c)对当前系统中的每一个对象,构造其与相关的关键帧还有地图点的因子图,进行对象位姿、相机位姿和地图点位置的优化;
5)如果检测到关键帧回环,进行回环矫正,并更新相关物体位姿;
6)物体关联操作执行后,实时绘制带有三维位姿物体、相机运动轨迹的地图。
2.如权利要求1所述的一种基于层次主题模型的语义SLAM对象关联方法,其特征在于,所述步骤4)中,通过深度学习预测得到的对象测量,利用层次主题模型HDP对对象测量进行建模,建模的过程设计到吉布斯采样方法,根据构造的HDP主题模型进行对象关联计算,并基于对象关联进行相机位姿优化。