1.一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,包括以下步骤:S1,对RGB‑D相机采集到的彩色图像和深度图像进行预处理,将相邻的两帧彩色图像和深度图像分别进行级联,并且深度图像采用最小化法线+深度法MND编码预处理,最后将彩色图像和深度图像进行归一化处理;S2,将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取;S3,将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map;S4,将新生成的fusion feature map进行全局均值池化处理;
S5,利用LSTM神经网络,通过训练,预测当前位姿。
2.根据权利要求1所述的一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,所述彩色图像预处理具体为,将彩色图像的相邻帧进行级联生成640×960尺寸的彩色图像;所述的深度图像预处理具体为,首先将深度图像进行MND编码处理,缩放深度图像的宽和高为nx和ny,将深度d作为图像的第三个通道,对于缩放后的曲面法线[nx,ny,d]满足然后将深度图像的相邻帧进行级联生成640×960尺寸的深度图像。
3.根据权利要求1所述的一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,所述步骤S2将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取,具体为:采用双流卷积神经网络架构,彩色流和深度流的结构一致都由5层卷积层组成,提取图像中不同层次的特征,前四层都有ReLU激活单元;将预处理好rgb depth
的彩色图像I 作为彩色流的输入,将预处理好的深度图像I 作为深度流输入,通过卷积运算分别得到彩色特征图谱和深度结构特征图谱。
4.根据权利要求1‑3任一项所述的一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,所述双流卷积神经网络采用并行的结构,而并行结构的每个分支都由五个卷积层组成,每个分支的前四个卷积层都经过ReLU激活单元,其公式表示为:f(x)=max(0,x) (1)其中,x是输入,f(x)是经过ReLU单元之后的输出。
5.根据权利要求4所述的一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,所述步骤S3将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map具体为:将两个数据流网络中conv5输出的feature map合并起来组成新的fusion feature map,再经过批量归一化和ReLU非线性激活单元后进行全局均值池化处理,生成的融合特征表示为:其中,Xk是fusion feature map, 是rgb feature map, 是depth feature map。
6.根据权利要求5所述的一种基于LSTM双流卷积神经网络的位姿估计方法,其特征在于,所述步骤S5利用LSTM神经网络,通过训练,预测当前位姿,具体包括:利用LSTM神经网络对图像序列进行时序建模,预测当前位姿信息;LSTM神经网络由遗忘门、输入门和输出门构成,通过学习对估计当前位姿信息有用的信息进行记忆,对估计当前位姿信息无用的信息进行遗忘;其中遗忘门可以控制遗忘上一个状态无用的信息,其公式为:
fk=σ(Wf·[hk‑1,xk]+bf) (3)其中fk是遗忘门的输出,σ是sigmoid函数,Wf是遗忘参数,hk‑1是上一个时刻的隐藏状态,xk是当前时刻的输入,bf是遗忘门的偏置;
其中输入门决定了向当前状态增加什么信息,输入门由输入选择层ik和候选层 构成,其公式为:
ik=σ(Wi·[hk‑1,xk]+bi) (4)其中Wi是输入参数,tanh是双曲正切函数,WC是候选参数;bi是选择层偏置;bc是候选层的偏置;
其中输出门决定做出什么预测,其公式为:ok=σ(Wo·[hk‑1,xk]+bo) (6)其中Wo是输出参数;bo是输出门的偏置;
最后通过最小化真实位姿和估计位姿的欧几里德距离来设计损失函数,损失函数为:其中N是样本数量;w是位置和姿态的权重系数; 为估计位姿; 为实际位姿。
7.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1~6任一项所述的基基于LSTM双流卷积神经网络的位姿估计方法。
8.一种基于权利要求1‑6所述方法的LSTM双流卷积神经网络的位姿估计系统,其特征在于,包括以下步骤:
预处理模块:用于对RGB‑D相机采集到的彩色图像和深度图像进行预处理,将相邻的两帧彩色图像和深度图像分别进行级联,并且深度图像采用最小化法线+深度法编码预处理,最后将彩色图像和深度图像进行归一化处理;
特征提取模块:用于将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取;
融合模块:用于将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map;将新生成的融合特征图谱fusion feature map进行全局均值池化处理;
预测模块:利用LSTM神经网络,通过训练,预测当前位姿。