欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018110542230
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,包括以下步骤:

(1)将Depth图像编码为三个通道:物体的深度、高度和角度,获取目标的几何信息,然后在VGG-16网络的基础上,利用基于Depth模式的CNN网络提取其特征进行融合,融合后提取的输出特征进入深度特征融合模块;

(2)在VGG-16网络的基础上,利用基于RGB模式的CNN网络提取RGB图像的卷积特征进行融合,融合后提取的输出特征进入深度特征融合模块;

(3)将步骤(1)中基于Depth模式的CNN网络的输出特征和步骤(2)中基于RGB模式的CNN网络的输出特征,输入到RGB和Depth相关计算的CNN中,融合后提取的输出特征进入深度特征融合模块;

(4)通过RGB图像序列计算其光流图,将光流图输入到基于运动模式的CNN网络中,融合后提取的输出特征进入深度特征融合模块;

(5)将深度特征融合模块的输出,送入C-COT跟踪器中,完成目标跟踪。

2.根据权利要求1所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(1)和(2)中所述的CNN网络包含5个池化层,分别为Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3。

3.根据权利要求2所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(1)中所述的基于Depth模式的CNN网络输出特征为Conv3_3和Conv5_3输出的特征。

4.根据权利要求2所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(2)中所述的基于RGB模式的CNN网络输出特征为Conv3_3和Conv5_3输出的特征。

5.根据权利要求2所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(3)中所述的RGB和Depth相关计算的CNN包含3个池化层,分别为Conv3_3、Conv4_3、Conv5_3,其输入特征为步骤(1)和(2)中所述CNN网络的输出特征Conv2_2,输出特征Conv5_

3输出到深度特征融合模块。

6.根据权利要求5所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(4)中所述的基于运动模式的CNN网络包含5个池化层,分别为Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3,输出到深度特征融合模块的特征为Conv5_3。

7.根据权利要求6所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,所述的深度特征融合模块按照下述公式实现融合:其中, 为基于RGB模式的CNN网络Conv3_3输出的深度特征, 为conv5_3输出的深度特征, 为基于Depth模式的CNN网络Conv3_3输出的深度特征, 为conv5_3输出的深度特征, 为RGB和Depth相关计算的CNN的conv5_3输出的深度特征, 为基于运动模式的CNN网络的conv5_3输出的深度特征。

8.根据权利要求1至7任一项所述的基于多模式深度特征融合的RGB-D目标跟踪方法,其特征在于,步骤(1)中Depth图像编码技术为HHA编码技术。