1.一种基于多模式深度特征融合的RGB‑D目标跟踪方法,其特征在于,包括以下步骤:(1)将Depth图像编码为三个通道:物体的深度、高度和角度,获取目标的几何信息,然后在VGG‑16网络的基础上,利用基于Depth模式的CNN网络提取其特征进行融合,所述基于Depth模式的CNN网络包含5个池化层,分别为Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_
3,将其中Conv3_3和Conv5_3输出的特征输入深度特征融合模块;
(2)在VGG‑16网络的基础上,利用基于RGB模式的CNN网络提取RGB图像的卷积特征进行融合,所述基于RGB模式的CNN网络包含5个池化层,分别为Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3,将其中Conv3_3和Conv5_3输出的特征输入深度特征融合模块;
(3)将步骤(1)中基于Depth模式的CNN网络中Conv2_2输出的特征和步骤(2)中基于RGB模式的CNN网络中Conv2_2输出的特征,输入到RGB和Depth相关计算的CNN中,融合后提取的输出特征进入深度特征融合模块;
(4)通过RGB图像序列计算其光流图,将光流图输入到基于运动模式的CNN网络中,融合后提取的输出特征进入深度特征融合模块;
(5)将深度特征融合模块的输出,送入C‑COT跟踪器中,完成目标跟踪。
2.根据权利要求1所述的基于多模式深度特征融合的RGB‑D目标跟踪方法,其特征在于,步骤(3)中所述的RGB和Depth相关计算的CNN包含3个池化层,分别为Conv3_3、Conv4_3、Conv5_3,其输入特征为步骤(1)和(2)中所述CNN网络的输出特征Conv2_2,输出特征Conv5_
3输出到深度特征融合模块。
3.根据权利要求2所述的基于多模式深度特征融合的RGB‑D目标跟踪方法,其特征在于,步骤(4)中所述的基于运动模式的CNN网络包含5个池化层,分别为Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3,输出到深度特征融合模块的特征为Conv5_3。
4.根据权利要求3所述的基于多模式深度特征融合的RGB‑D目标跟踪方法,其特征在于,所述的深度特征融合模块按照下述公式实现融合:其中, 为基于RGB模式的CNN网络Conv3_3输出的深度特征, 为conv5_3输出的深度特征, 为基于Depth模式的CNN网络Conv3_3输出的深度特征, 为conv5_3输出的深度特征, 为RGB和Depth相关计算的CNN的conv5_3输出的深度特征, 为基于运动模式的CNN网络的conv5_3输出的深度特征。
5.根据权利要求1至4任一项所述的基于多模式深度特征融合的RGB‑D目标跟踪方法,其特征在于,步骤(1)中Depth图像编码技术为HHA编码技术。