欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017114267539
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,包括以下步骤:(1)在VGG-16网络的基础上构建基于注意力模型的级联多模式融合全卷积神经网络:

建立RGB模式的级联全卷积网络,所述RGB模式的级联全卷积网络包括第一级卷积层、第二级卷积层、第三级卷积层、第四级卷积层、第五级卷积层,第一级卷积层、第二级卷积层均各有两层,第三级卷积层、第四级卷积层、第五级卷积层均各有三层,将第三级卷积层、第四级卷积层、第五级卷积层输出的特征作为目标跟踪中RGB模式的表达特征;

建立深度模式的级联全卷积网络,所述深度模式的级联全卷积网络包括也包括第一级卷积层、第二级卷积层、第三级卷积层、第四级卷积层、第五级卷积层,第一级卷积层、第二级卷积层均各有两层,第三级卷积层、第四级卷积层、第五级卷积层均各有三层,将第三级卷积层、第四级卷积层、第五级卷积层的特征作为目标跟踪中深度模式的表达特征;

利用注意力模型对两种模式中每一层的表达特征分配权重;构建基于注意力模型的级联多模式融合全卷积神经网络;

(2)提供图像数据库,所述图像数据库包括RGB图像和深度图像,所述深度图像包括深度通道,对深度图像信息进行HHA编码,将深度通道编码为物体的深度、高度和角度三个通道;使用RGB图像及编码后的深度图像,对构建好的基于注意力模型的级联多模式融合全卷积神经网络进行联合训练;

(3)将待跟踪视频输入训练好的基于注意力模型的级联多模式融合全卷积神经网络中,从待跟踪视频的第一帧图像开始,获得RGB模式和深度模式的表达特征后,利用注意力模型对两种模式中每一层的表达特征分配权重,得到每一层的多模式融合特征,然后将多模式融合特征送入到ECO跟踪器中,得到输出结果,并将输出结果置于模板库中;

(4)所述输出结果中包括选中候选目标的跟踪框,将跟踪框所在的位置对应到该帧图像的深度图像中,计算跟踪框中所有空间位置的深度的平均值作为候选目标深度;设定遮挡阈值,计算该帧图像中的候选目标深度以及候选目标的历史平均深度的差值,若差值低于遮挡阈值,判断为没有发生严重遮挡,则每6帧更新一次模板库;若差值高于或等于遮挡阈值,判断为发生严重遮挡,则放弃这一帧的更新。

2.根据权利要求1所述的基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,步骤(1)中的注意力模型包括两个卷积层。

3.根据权利要求1所述的基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,步骤(1)中,多模式融合特征为:式中,Fij为第j层中第i个空间位置的多模式融合特征; 表示第k种模式第j层中第i个空间位置的特征值;i为空间位置;j为第j级卷积层;k表示第k种模式, 表示第k种模式第j层中第i个空间位置特征值的权重。

4.根据权利要求3所述的基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,步骤(1)中,利用注意力模型对每一层的表达特征分配权重,权重 为:式中,k取1时表示采用RGB模式,k取2时表示深度模式,K=2。

5.根据权利要求1所述的基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,步骤(3)中的待跟踪视频采用RGB-D传感器进行视频采集。

6.根据权利要求1所述的基于注意力模型的级联多模式融合的视频目标跟踪方法,其特征在于,步骤(4)中,令dt表示第t帧图像中的候选目标深度,davg表示候选目标的历史平均深度,η表示遮挡阈值,检测遮挡的判据为:若|dt-davg|>η,则occlusion=0

若|dt-davg|≤η,则occlusion=1  (3)

式中,occlusion=0表示未被遮挡,occlusion=1表示被遮挡,davg通过式(4)进行更新:式中, 表示更新后的候选目标的历史平均深度;α为人为设定的更新系数。