欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021101717187
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于不同度量准则的孪生网络目标跟踪方法,其特征在于:具体包括如下步骤:步骤1,选择特征提取网络

步骤2,获取跟踪视频,在视频的第一帧上手动选择目标所在区域,将第一帧的目标区域Z作为模板输入到步骤1选择的特征提取网络 中,得到模板的深度特征步骤3,进入跟踪视频的后续帧图像,利用上一帧图像的跟踪目标坐标位置(xt‑1,yt‑1)和宽高(wt‑1,ht‑1)得到当前帧图像的搜索区域St,将当前帧图像的搜索区域St输入到步骤1选择的特征提取网络 中得到当前帧图像搜索区域的深度特征步骤4,采用余弦相似度对步骤2得到的模板深度特征 和步骤3得到的当前帧搜索区域深度特征 做相似性度量,得到使用余弦相似度度量方式获得的响应图hc(Z,St);

所述步骤4的具体过程为:

首先模板帧的深度特征 在当前帧搜索区域 做滑动操作,每做一次滑动操作,当前帧搜索区域 总会存在一个和模板帧深度特征 尺寸相同的区域 其中i表示 在 上水平移动的下标,j表示 在 上垂直移动的下标,假设 每次在 上移动s为大小的步长,则i和j会取如下的区间内的数值:其中,i和j均为整数;W、H分别为步骤1选择的特征提取网络 中得到的宽和高;w、h分别为深度特征 的宽和高;

由于 和 的尺寸均为w×h×C,现将 和 展平为(w×h×C)×1的一维向量 和 用余弦相似度度量这两个向量的相似程度,求解 和 的余弦相似度的方式如下:

最终,通过余弦相似度度量方式获得的响应图hc(Z,St)为步骤5,采用欧氏距离对步骤2得到的模板深度特征 和步骤3得到的当前帧搜索区域深度特征 做相似性度量,得到使用欧氏距离度量方式获得的响应图hd(Z,St);

所述步骤5的具体步骤为:

首先模板帧深度特征 在当前帧搜索区域 做滑动操作,在做滑动操作的过程中,用欧氏距离度量模板帧深度特征 和当前帧搜索区域 中子块 的相似程度,度量方式如下:最终通过欧氏距离度量方式得到的响应图hd(Z,St)为

步骤6,对步骤4得到的响应图hc(Z,St)与步骤5得到的响应图hd(Z,St)进行加权融合,得到最终的响应图h(Z,St),并将融合后的响应图h(Z,St)插值到固定大小,响应图h(Z,St)上的最大值点就是跟踪目标的位置,再采用线性插值的方式更新目标的宽高,实现对当前帧目标的跟踪。

2.根据权利要求1所述的一种基于不同度量准则的孪生网络目标跟踪方法,其特征在于:所述步骤1的具体过程为:选择在ImageNet数据集上预训练好的AlexNet网络作为孪生网络的特征提取网络

3.根据权利要求2所述的一种基于不同度量准则的孪生网络目标跟踪方法,其特征在于:所述步骤2的具体过程为:所述步骤2的具体过程为:步骤2.1,获取跟踪视频,在视频的第一帧上手动选取目标所在区域,令(x,y)为第一帧中目标的中心点坐标,m和n分别为目标区域的宽和高,以第一帧中目标的中心点(x,y)为中心,截取边长为z_sz的正方形区域,z_sz的计算公式如下:其中p=(m+n)/4,表示填充量;

步骤2.2,若边长为z_sz的正方形区域超出跟踪视频的第一帧图像,则超出部分用跟踪视频第一帧图像的均值填充,所述第一帧图像的均值 采用如下公式(2)计算:其中, 表示第一帧目标区域中第i个通道、第j行、第k列的像素值;

步骤2.3,将边长为z_sz的正方形区域缩放到b×b大小,得到第一帧图像的目标区域Z,将第一帧图像的目标区域Z输入到特征提取网络中 得到宽、高、通道数为w×h×C的深度特征

4.根据权利要求3所述的一种基于不同度量准则的孪生网络目标跟踪方法,其特征在于:所述步骤3的具体过程为:步骤3.1,进入跟踪视频的后续帧图像,利用第t‑1帧图像的跟踪目标坐标位置(xt‑1,yt‑1)和宽高(mt‑1,nt‑1)在当前t帧图像上截取边长为x_sx的正方形区域,边长x_sx的计算公式如下:其中pt‑1=(wt‑1+nt‑1)/4,表示填充量;

步骤3.2,若步骤3.1中截取的正方形区域超出当前第t帧图像,则超出部分用第t帧图像的均值填充,当前第t帧图像的均值采用如下公式计算:其中, 表示后续帧目标区域中第i个通道、第j行、第k列的像素值;

步骤3.3,将边长为x_sx的正方形区域缩放到a×a大小,得到当前第t帧图像的搜索区域St,将当前第t帧图像的搜索区域St输入到步骤1选择的特征提取网络 中得到宽、高、通道数为W×H×C的当前帧搜索区域的深度特征

5.根据权利要求1所述的一种基于不同度量准则的孪生网络目标跟踪方法,其特征在于:所述步骤6的具体过程为:步骤6.1,对采用余弦相似度得到的响应图hd(Z,St)和欧氏距离得到的响应图hd(Z,St)做如下所示的加权融合,得到融合后的响应图h(Z,St):h(Z,St)=λhc(Z,St)+(1‑λ)hd(Z,St)    (6);

步骤6.2,利用双三次插值的方式将融合后的响应图h(Z,St)插值成尺寸为λ×λ的响应图H(Z,St),响应图H(Z,St)上的最大值点就是目标所在位置,再根据响应图H(Z,St)上的最大值与响应图H(Z,St)中心位置的偏差(Δx,Δy)修正上一帧的目标位置(xt‑1,yt‑1),得到当前帧的目标位置(xt,yt),具体计算方式如下:步骤6.3,更新当前帧目标的宽高(wt,ht),先采用线性插值的方式得到目标宽高变化的尺度scale,计算方式如下:其中r为更新率;

步骤6.4,通过与变化的尺度scale相乘的方式更新当前第t帧目标的宽高(wt,ht),具体公式如下:步骤6.5,当前帧目标图像的跟踪过程结束,把下一帧作为当前帧并跳转到步骤3进行后续帧的跟踪。