1.一种基于对象空间关系的目标跟踪算法,其特征在于:具体包括以下步骤:
G1、以图像的特征和目标在图像中的位置作为输入,并利用五层卷积小网络来捕获两帧图像中目标的关联性,最终获得目标间的特征相似矩阵;
G2、获取目标中心点的距离作为目标间的空间相似矩阵,将空间相似矩阵与特征相似矩阵做哈达玛积,同时计算目标的关联性,防止将表观特征相似性大但空间位置相距较远的目标进行错误关联,最终得到目标跟踪结果。
2.根据权利要求1所述的一种基于对象空间关系的目标跟踪算法,其特征在于:所述目标间的特征相似矩阵的具体步骤如下:S1、获取以Ft、Ft+n作为模型输入,时间间隔为n的两帧图像,然后从轻量级行人检测模型骨干网络得到第8倍下采样、第16倍下采样和第32倍下采样特征图的集合,其通道数分别为384、192、96;
S2、获取以Bt、Bt+n作为模型输入,时间间隔为n的两帧图像中所有行人目标框的集合,再经过特征降维之后三层特征图的通道数降为192、96、48;将行人目标框Bt、Bt+n转换为目标中心点坐标,在三层特征图上分别找到对应的特征点,同一目标的三个特征点按通道拼接在一起作为目标的特征向量,每个目标的特征向量维度为336;t表示自然数;
S3、获取每帧图像中能够同时跟踪到的最大目标数量NmaX,NmaX设为80,然后根据公式(1)、公式(2)获得两帧图像中的所有目标特征向量构成的特征矩阵;
其中:当图像中目标数小于NmaX时,特征矩阵用零填充, 中的第i行表示t时刻图像帧中第i个目标的特征;
S4、根据公式(3),获得由 中所有目标向量穷举排列,并按通道拼接得到的混合特征向量;
其中:Fper的第i行第j列个元素是由 中第i行特征向量与 中第j行特征向量在通道维度拼接得到的,Fper中每个元素的维度为672;
S5、然后将由5个卷积核为1×1的普通卷积模块组成的小网络定义为Map Net,用来捕获目标表观特征的相似性,其中通道数分别为336、168、84、42、1,同时在整个网络中不改变输入特征图的分辨率;
S6、最后按照公式(4)模型输出,并进行编码两帧图像目标间特征的相似程度,以此获得目标间的特征相似矩阵;
其中: 中第i行表示t时刻图像帧中第i个目标的特征与t+n时刻图像帧中所有目标的特征间的相似性,第j列表示t+n时刻图像帧中第j个目标的特征与t时刻图像帧中所有目标的特征间的相似性,上述各个步骤中涉及到的t表示自然数。
3.根据权利要求2所述的一种基于对象空间关系的目标跟踪算法,其特征在于:所述空间相似矩阵的具体计算步骤如下:K1、将Bt、Bt+n作为轻量级行人目标检测模型得到的目标框,Center作为每个目标的中心坐标, 为t时刻图像帧中的目标与t+n时刻图像帧中的目标的空间相似性,Si,j为 的简写,表示t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标的空间相似性,然后将Si,j按以下计算方式为:其中di,j∈(0,1)为t时刻图像帧中第i个目标与t+n时刻图像帧中第j个目标间的归一化距离,即图像上欧式距离与图像对角线距离的比值,其中图像的对角线为两个目标在图像中的最大距离;
K2、得到两个目标之间的空间距离之后,使用一个简单的径向基函数e-x带入公式(6.1)中将目标间的空间距离转化为空间相似性。
4.根据权利要求3所述的一种基于对象空间关系的目标跟踪算法,其特征在于:需要将目标在图像上的欧式距离做归一化处理,同时公式(6.1)也是一个归一化操作后,将目标间的空间相似性归一化到目标最大空间相似性与最小空间相似性区间,两个目标的欧式距离0
经过归一化之后,最小距离为0,其中中心点重叠,相似性最大:e=1;最大距离为1,即中心点分别位于图像的对角点,相似性最小:e-1。
5.根据权利要求4所述的一种基于对象空间关系的目标跟踪算法,其特征在于:空间相似矩阵St,t+n中的每一行代表t时刻图像帧中的某目标与t+n时刻图像帧中所有目标的空间相似性,每一列代表t+n时刻图像帧中某目标与t时刻图像帧中所有目标的空间相似性,当图像中的目标数量不足NmaX时,将用0填充;若超过NmaX,则多于的目标将无法被跟踪,得到目标间的空间相似矩阵后,与卷积网络得到的特征相似矩阵做哈达玛积,即得到目标的综合相似性矩阵。
6.根据权利要求1或2或3或4所述的一种基于对象空间关系的目标跟踪算法,其特征在于:上述所有n的范围为1-30s。
7.根据权利要求4所述的一种基于对象空间关系的目标跟踪算法,其特征在于:针对行人目标检测时对象空间关系的目标跟踪算法的具体展开步骤如下:A1、将t时刻的图像帧输入轻量级行人目标检测模型,得到目标框Bt与图像特征Ft;
A2、从轻量级行人目标检测模型得到的目标框Bt与图像特征Ft输入卷积关联网络,从中提取当前帧的目标特征 空间特征SFH;
H
A3、若当前帧为视频的第一帧,初始化历史特征集合F与轨迹集合Tt,将当前帧的目标特征 加入FH,空间特征 加入SFH,为当前帧中的每个目标建立一个轨迹 加入Tt,转到步骤A8;若当前帧非视频的第一帧,则将当前帧的目标特征 分别与FH中的所有历史帧目标特征两两配对,由卷积关联网络计算每对图像帧的目标特征相似矩阵 由该特征相似矩阵得到每对图像帧的综合预测目标关联矩阵A4、检查历史帧目标特征集合FH中的历史帧目标特征数是否达到其能存储的最大数目H:若没有,将当前帧的目标特征 加入FH;若FH中的历史帧目标特征数已达到H,则移除离当前帧时间最远的那一帧的目标特征,再将当前帧的目标特征 加入FH,空间特征加入SFH;
A5、根据步骤A3中的综合预测目标关联矩阵 计算当前帧中的目标与已存在轨迹之间的轨迹关联矩阵A6、根据步骤A5中得到得轨迹关联矩阵 更新当前时刻t已存在的确定轨迹Tt和待定轨迹 ①若当前帧中的某目标i被分配给确定轨迹 更新确定轨迹 更新该确定轨迹的未成功关联目标帧数u=0;若当前帧中的某目标i被分配给待定轨迹更新待定轨迹 更新该待定轨迹的成功关联目标帧数c=c+1;②若当前帧中的某目标未被分配给任何已存在轨迹,则为其建立一个新的轨迹,加入待定轨迹集合设该待定轨迹的成功关联目标帧数c=1;③若某确定轨迹在当前帧中未找到与之关联的目标,则其更新该确定轨迹的未成功关联目标帧数u=u+1;若某待定轨迹在当前帧中未找到与之关联的目标,则更新该待定轨迹的成功关联目标帧数c=0,并从待定轨迹集合 中删除该轨迹,删除的轨迹为待定轨迹集合中未能与当前帧中任一目标关联的轨迹;
A7、检查确定轨迹集合Tt与待定轨迹集合 ①若确定轨迹集合Tt中某轨迹的未成功关联目标帧数u超过阈值Δw,则认为该目标离开图像,从确定轨迹集合Tt中删除该轨迹;②若待定轨迹集合 某轨迹的成功关联目标帧数c超过阈值Δd,则认为该目标是新进入图像的目标,将该轨迹加入确定轨迹集合Tt,设此确定轨迹的未成功关联目标帧数u=0,并从待定轨迹集合 中删除该轨迹,删除的轨迹即为待定轨迹集合中已连续帧有目标与其关联的轨迹此时的确定轨迹,集合Tt即为t时刻的行人目标跟踪结果;
A8、令t=t+1,获取下一时刻的图像帧。