欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023109749908
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于金字塔池化Transformer主干网络的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、在孪生网络框架下,基于金字塔池化Transformer模型构建基于金字塔池化Transformer特征提取主干网络,基于金字塔池化Transformer特征提取主干网络包括有两个提取支路;基于标准Transformer的编码器模块和解码器模块构成模型预测器,模型预测器和基于金字塔池化Transformer特征提取主干网络构成目标跟踪模型;

步骤2、获取跟踪数据集,从跟踪数据集中采样获取训练模板和测试模板,测试模板中包含视频序列中要跟踪的下一帧图像,训练模板中包含视频序列中标有真实值的第一帧以及被跟踪过目标的帧;

采用上一阶段输出作为下一阶段输入的方式,以训练模板和测试模板作为初始输入,利用两个提取支路分别多次提取测试模板以及训练模板的特征,以获得对应的全局上下文信息,将两个提取支路的最终输出分别进行信息编码,以添加目标位置和尺度信息;

步骤3、将两个信息编码后的最终输出进行拼接操作,再利用编码器模块进行充分融合,将融合后的特征采用解码器模块预测出一个目标模型,将融合后的特征进行分离,得到便于后续目标分类和边界框回归的加强后的测试模板特征;

步骤4、计算所述目标模型和加强后的测试模板特征,得出目标位置以及尺度大小;

步骤5、以跟踪数据集作为训练数据重复步骤3至步骤4对目标跟踪模型进行端到端的离线训练;

步骤6、利用训练好的目标跟踪模型对视频序列进行目标跟踪;

在所述步骤2中,利用两个提取支路分别多次提取测试模板以及训练模板的特征方法具体包括如下步骤:步骤2.1、所述测试模板与所述训练模板的图像块分别经过PatchEmbed操作进行空间相对位置学习及维度调整,输出为一维序列特征;

步骤2.2、将一维序列特征重塑为二维特征映射,再进行金字塔池化操作;

步骤2.3、经过金字塔平均池化后的序列特征进行自注意力计算;

步骤2 .4、将经过自注意力计算的特征映射输入到前馈神经网络中,得到当前阶段输出;

采用上一阶段输出作为下一阶段输入的方式循环步骤2.1至步骤2.4两次,以得到最终输出;

每个阶段的特征提取过程存在如下关系式:征;

所述金字塔池化的运算方法具体包括如下步骤:

对所述二维特征映射进行具有不同池化比率的平均池化操作,不同池化比率的平均池化操作存在如下关系式:模型预测模块,用于将两个信息编码后的最终输出进行拼接操作,再利用编码器模块进行充分融合,将融合后的特征采用解码器模块预测出一个目标模型,将融合后的特征进行分离,得到便于后续目标分类和边界框回归的加强后的测试模板特征;

定位回归模块,用于计算所述目标模型和加强后的测试模板特征,得出目标位置以及尺度大小;

离线训练模块,用于以跟踪数据集作为训练数据重复执行模型预测模块与定位回归模块的功能,以对目标跟踪模型进行端到端的离线训练;

目标跟踪模块,用于利用训练好的目标跟踪模型对视频序列进行目标跟踪。