欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020111656895
申请人: 西安工程大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-08-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的语义地图构建方法,其特征在于,具体包括如下步骤:步骤1:对安装在机器人上方的深度摄像头进行标定,通过RGBD图像配准计算位姿,根据输入点云利用ICP算法求解位姿;

步骤2:在步骤1计算出位姿后,同时深度相机实时采集周围环境图像信息,使用openGL将当前帧的点云和已重建的部分进行融合,进行三维地图的建立;

步骤3:将RGBD相机获取到的当前时刻图像和前一个关键帧的特征进行匹配,判断当前时刻图像是否为关键帧;

假设不是关键帧,则查找新的图片,确定新的关键帧;

假设是关键帧,则将关键帧送入改进的PSP-Net模型中进行二维语义信息的提取,获得实时图像的二维语义信息,再进行闭环检测,得到闭环结果;

步骤4:将步骤2中建立的三维地图作为输入,和步骤3中二维图像语义分割结果送入Elastic fusion模型进行三维语义分割地图的重建。

2.根据权利要求1所述的一种基于深度学习的语义地图构建方法,其特征在于,步骤1中,根据输入点云利用ICP算法求解位姿的具体过程如下;

步骤1.1:对RGBD深度相机获取的两幅深度图像做3层抽样,再对于抽样后的两幅深度图像做滤波,点云配准以coarse-to-fine的方式进行迭代;

步骤1.2:在给定深度图像内参情况下,通过原始未抽样的深度图像计算点的三维点云坐标,用于点云的配准和融合,对于滤波后的两幅深度图像也计算三维点云坐标,用于计算法向量;

步骤1.3:根据步骤1.2中求得的两幅深度图像点云坐标,通过投影算法计算一幅图像在另一幅图像中的投影像素坐标;

步骤1.4:根据步骤1.3中的计算的匹配点,再计算匹配点的极小化点到平面距离计算位姿,使得目标函数误差小于设定的最小值时,或者到达设置的迭代次数停止迭代,否则进入步骤1.3。

3.根据权利要求2所述的一种基于深度学习的语义地图构建方法,其特征在于,步骤

1.3中,投影像素坐标函数表达式如下:

k(ud,vd,1)=KTjipi                     (1)其中,k(ud,vd,1):投影像素坐标函数,

pi:深度图像i中点的三维坐标,

Tji:从深度图像i到深度图像j的位姿,

K:相机内参数,

(ud,vd):pi在深度图像j中的投影像素坐标。

4.根据权利要求2所述的一种基于深度学习的语义地图构建方法,其特征在于,步骤

1.4中,极小化点到平面距离计算位姿算法流程如下:(1)设置目标函数如下:

上式表达式中旋转矩阵R和平移矩阵t是待求解的位姿,R与t可通过以下公式来表示:t=[tx,ty,tz]T                           (4)其中α、β、γ分别表示沿x、y、z轴的旋转角度,在每次迭代时实际是值很小的R的变化值ΔR和t的变化值Δt,pi和qi分别是原始点云中的一点和目标点云中的一点,ni指目标点的法向量;

(2)将R线性化,当相邻两帧之间位姿变化较小时,有以下近似:sin(θ)=θ,cos(θ)=1                       (5)(3)在三个方向上R的旋转角为r=(α,β,γ)对于Rpi+t≈pi+r×pi+t,并且r×pi·ni=r·(pi×ni),由以上近似,目标函数写为:(4)以上目标函数对6个维度位姿参数求导并且令导数为0,得到Ax+b=0,其中:A的表达式为:b的表达式为:

未知参量x表达式为:

x=(α,β,γ,tx,ty,tz)                    (9)通过计算求解Ax+b=0就能够求出R与t,即计算出的位姿矩阵。

5.根据权利要求3所述的一种基于深度学习的语义地图构建方法,其特征在于,步骤3中,将关键帧送入改进的PSP-Net模型中进行二维语义信息的提取的过程具体如下:(1)通过融合不同区域的上下文信息并整合不同区域的上下文信息,构建金字塔汇集模块(Pyramid pooling module,PPM),赋予模型分析全局先验知识的能力,使得模型具有理解全局上下文信息的能力;

为了充分利用PSP-Net编码器部分包含的多尺度特征,在PSP-Net中增加了多条自底向上的路径,首先,在自底向上的路径和跳层连接的作用下,将编码器中各层的特征逐步整合,得到具有多尺度语义信息的特征,然后,该特征被发送到解码器用于下一个卷积操作;

(2)改进的PSP-Net网络的编码网络如下算法表达:fn=Cn(fn-1)=Cn(Cn-1(...C1(I)))               (10)其中:I表示输入图片;Cn表示第n个卷积模块由卷积层和池化层组成;fn表示第n层的特征图;

(3)将深层特征图代入浅层特征图中的融合过程如下数学表达式阐述:f′n=fn,f′n-1=Gn(f′n,fn-1),...f′n-k=Gn-k(f′n-k+1,fn-k)          (11)其中fn-k为第n-k层的特征图,0<k<n,当k越趋近于n时,表示的特征图便越接近网络的浅层,即特征图的分辨率越来越高,所包含的细节信息也越来越多;f′n-k表示融合后的特征图;Gn-k表示将特征图fn-k和特征图f′n-k+1融合在一起;

(4)将得到的多层级的特征图融合在一起的过程如下数学表达式阐述:D={Pn-k(f′n-k),...Pn(f′n)}                  (12)其中P是对特征图的细化操作;D表示对所有的特征图做融合操作得到最后的二维图像语义信息。