欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020107056944
申请人: 青岛科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种深度特征关联的多目标跟踪方法,其特征在于:包括以下过程:

S1.提取原始的视频帧Vt,Vt‑n,并利用目标检测器对原始视频帧进行处理,输出视频帧集It,It‑n,及其目标中心点坐标信息集Ct,Ct‑n;

步骤S1所述的原始的视频帧Vt,Vt‑n不必为连续的两帧,且间隔不超过5帧;

S2.对目标检测器传来的视频帧集It,It‑n,结合目标中心点坐标信息集Ct,Ct‑n,进行预处理,并将处理后的视频帧It和其上所有目标的中心点集合Ct,以及It‑n和其上所有目标的中心点集合Ct‑n输入到深度特征提取器中;

步骤S2所述的预处理的具体过程包括:

S201.首先对视频数据集It和It‑n进行光度畸变处理,以像素值尺度[0.7,1.5]范围中的一个随机值改变图片大小,接着以饱和度尺度[0.7,1.5]范围中的一个随机值转换成HSV空间,最后,以同样饱和度尺度[0.7,1.5]范围中的一个随机值,转回到RGB中;

S202.使用图像像素均值扩张帧,像素值尺度变化范围[1,1.2];

S203.对图像进行裁剪,裁剪像素尺度范围在[0.8,1]之间,同时裁剪后的图像需要包含所有检测目标的中心点,形成经预处理后的跟踪数据集MOT17的检测结果;

其中:所述的跟踪数据集MOT17的检测结果包含预处理后的视频帧集It和It‑n及其目标中心点坐标信息集Ct,Ct‑n;

S3.在深度特征提取器中选取特定的6层的输出到1×1卷积核进行通道数的缩减,组成含有512个通道数的特征集合Ft和Ft‑n;

步骤S3所述的在深度特征提取器中选取特定的6层的输出到1×1卷积核进行通道数缩减,组成含有512个通道数的特征集合Ft和Ft‑n的具体步骤包括:S301.将预处理后的包含所有目标中心点坐标的Ct和Ct‑n以及视频帧集It和It‑n一同输入到FPN101网络中,进行特征提取;

S302.利用latlayer、toplayer网络块、conv2d和max2d得到特定的6层特征,并利用1×

1卷积核将扩增后的6层特征通道数进行缩减;

所述利用latlayer、toplayer网络块、conv2d和max2d得到特定的6层特征的过程包括:(1)输入图像;

(2)经过layers网络将图像的目标检测框的通道维度由3变为64,再经过依次连接的layer1、layer2、layer3、layer4网络处理后目标检测框各层特征的通道维度分别变为256、

512、1024和2048;

其中:layerl、layer2、layer3、layer4之后还分别连接latlayer1、 latlayer2、latlayer3、toplayer;

(3)对layer4层获得的特征用toplayer网络块处理,一方面,所述经toplayer网络块处理的特征经conv2d处理后进入Selector5,所述经conv2d处理的特征经max2d处理后进入Selector6;

(4)另一方面,经过toplayer网络块处理后的特征直接进入Selector4进行处理;同时,经toplayer网络块处理后的特征与latlayerl模块处理的特征进行融合,以进入Selector3;经latlayer2模块处理的特征与Selector3进行融合,以进入Selector2;经latlayerl模块处理的特征与Selector2进行融合,以进入Selectorl;

S303.将S302中的输出6层特征进行线性拼接,得到含有512个通道数的特征集合Ft和Ft‑n;

其中:所述Ft和Ft‑n就是Nm个目标的此种特征图组成,大小为Nm×512;

在所述的深度特征提取器中:

(1)主干网络使用FPN101网络,且在所述FPN101网络中嵌入Non_Local网络,以及在网络后面添加反卷积网络,得到重构图,用以计算重构损失;

(2)在FPN101网络中设置有平滑网络层,涉及通道数改变的地方,均利用平滑网络层作平滑处理;

S4.将S3得到的大小为512×Nm的特征矩阵Ft和Ft‑n进行关联性分析,运用相似性矩阵结合损失子函数共同得出两帧之间目标的关联度,进而得到跟踪目标的轨迹Tt。

2.根据权利要求1所述的一种深度特征关联的多目标跟踪方法,其特征在于:步骤S4所述的关联性分析的过程为:S401.将经深度特征提取阶段处理所有目标后得到的特征矩阵Ft和Ft‑n进行组合,得到

1024×Nm×Nm的特征矢量Ψ(t‑n,t);

S402.利用压缩网络对特征矢量Ψ(t‑n,t)进行压缩,得到Nm×Nm大小的关联矩阵M;

S403.经分类器处理后得到初步的关联概率矩阵A,所述关联概率矩阵A包含行关联概率矩阵A1,列关联概率矩阵A2和经max计算的关联概率矩阵;

S404.然后结合视频帧中目标间真实的关联度矩阵Lt‑n,t,利用损失函数进行损失度计算,计算出最终的目标之间的关联度,进而得到跟踪目标的轨迹Tt;

其中:Nm表示视频帧中可跟踪目标的最大数目,Lt‑n,t大小是(Nm+1)×(Nm+1)。

3.根据权利要求2所述的一种深度特征关联的多目标跟踪方法,其特征在于:步骤S403所述的经分类器处理后得到初步的关联概率矩阵A的计算过程考虑了目标的出现和离开,其具体过程包括:(1)在关联矩阵M的基础上分别新添加一列表示跟踪目标的进入当前帧,得到目标出现后的关联矩阵M1;

(2)新添加一行表示跟踪目标在当前帧已离开,得到目标离开后的关联矩阵M2;

(3)然后分别经行和列的分类器得到行目标关联概率矩阵A1和列目标关联概率矩阵A2,初步估计出两帧中带有目标进出视频帧关联信息的各个目标之间的关联概率。

4.根据权利要求3所述的一种深度特征关联的多目标跟踪方法,其特征在于:步骤S404所述的利用损失函数计算跟踪目标的轨迹Tt的过程包括:(1)在经步骤S403得到行关联概率矩阵A1,列关联概率矩阵A2和经max计算的关联概率矩阵后,利用初步估计出来的关联概率和真实的关联矩阵Lt‑n,t进行对比;

(2)通过设置的损失函数进行计算,从而反馈给初始关联概率计算阶段,让其计算结果逐渐逼近真实结果;

(3)得到不同帧目标与目标之间的相似度后,在两帧中判定为同一目标的中心点坐标之间建立线性联系,当运行测试时,这种联系会以轨迹的形式显示出来,即得到跟踪目标的轨迹Tt。

5.根据权利要求4所述的一种深度特征关联的多目标跟踪方法,其特征在于:步骤S404(2)所述的损失函数包括四个损失子函数,前向损失Of、后向损失Ob、一致性损失Oc和交叉损失Oa,四个损失子函数的函数模型分别为:其中:L1和L2分别是去掉Lt‑n,t最后一行和最后一列所得到的关联矩阵;L3是同时去掉Lt‑n,t最后一行和最后一列所得到的关联矩阵;⊙代表哈达玛积,即两个同维矩阵的逐元素对应相乘的乘积;∑将矩阵参数中的所有系数归纳为一个标量值; 和 表示A1,A2经列行裁剪后得到不包含目标进出视频帧的关联概率矩阵。