欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201910328735X
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-07-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多目标检测跟踪方法,其特征在于,所述方法检测跟踪过程中,采用YOLOv3技术检测视频的第k和k+1帧视频序列;记k时刻检测框个数为n,检测框状态集为 k+

1时刻检测框个数为m,其检测框状态集为 其中, 表示第

i个检测框状态向量,参数 分别表示k时刻第i个检测框左上角的横坐标、纵坐标,以及检测框的宽、高和标签;

对于视频的初始帧,k=0,将已匹配的检测框作为初始的新生目标加入目标模板集和目标轨迹集中;对于视频的中间帧,k>0,利用检测框、目标轨迹信息和目标模板信息实现新生目标判定、丢失目标重识别和存活目标优化跟踪;其中,存活目标优化跟踪是在多伯努利滤波框架下,利用当前帧置信度大于给定置信度阈值Tb的检测框信息,优化对应目标的跟踪过程。

2.根据权利要求1所述的方法,其特征在于,所述对于视频的初始帧,k=0,将已匹配的检测框作为新生目标加入目标模板集和目标轨迹集中,包括:采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框,分别记为 和 表示第k帧中第i个检测框的卷积特征向量;计算检测框卷积特征对应的量测似然矩阵Λ,即:其中, 表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似

然;从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl的两个检测框作为匹配结果,将最终匹配的检测框对作为初始的新生目标加入目标模板集和目标轨迹集中。

3.根据权利要求2所述的方法,其特征在于,由于视频各帧中目标连续变化,假定同一个目标在相邻两帧不会出现特别大的位移变化,因此,在量测似然匹配的基础上,加入目标框的交并比IOU作为限制:若两个检测框的交并比IOU大于交并比阈值TI,则可判定两个检测框匹配;

从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl,同时交并比IOU大于交并比阈值TI的两个检测框作为匹配结果,将最终匹配的检测框对作为初始的新生目标,并分配标签 并加入目标轨迹集 中,其中, 为目标状态向量,各个分量分别表示第i个目标框左上角横坐标、纵坐标以及目标框的宽、高和标签,Mk为k时刻目标个数,给已匹配的检测框对添加与初始的新生目标对应的目标标签,即同时建立新生目标模板。

4.根据权利要求3所述的方法,其特征在于,所述对于视频的中间帧,k>0,利用检测框、目标轨迹信息和目标模板信息来实现新生目标判定、丢失目标重识别和存活目标优化跟踪,包括:对相邻的检测框进行匹配,确定新生目标与重识别目标的判定条件,再根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。

5.根据权利要求4所述的方法,其特征在于,所述对相邻的检测框进行匹配,包括:计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ,从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框,若两个检测框的交并比IOU大于交并比阈值TI,则可判定两个检测框匹配,假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配,则为第k+1帧中匹配目标的标签赋值,即:表示第k帧中第i个检测框的标签,若 为空,则表示该检测框包含的目标在第k-1帧中未被检测到,此时,将该检测框与存在目标轨迹集中的目标进行匹配;若与第n个目标匹配,则利用该目标标签对检测框标签进行赋值 可判定该目标在第k-1帧中被检测器漏检;

当存在目标轨迹集中没有与检测框匹配的目标,将检测框与目标模板进行匹配,判断是否为重新识别目标,如匹配上,则为重识别目标,否则为新生目标。若当前检测框在下一帧图像中不存在与之匹配的检测框,且目标模板与存在目标轨迹集中也不存在与之匹配的目标,则可判定该检测框为误检。

6.根据权利要求5所述的方法,其特征在于,所述确定新生目标与重识别目标的判定条件包括:假设条件:

(a)目标在第k-1帧没有被检测到,在第k和k+1帧被检测到;

(b)检测到的目标不在目标跟踪轨迹集中;

(c)检测到的目标也不在目标模板中;

若检测框目标满足条件(a)和(b),且不满足条件(c),则该目标为重识别目标;

若当前检测框目标同时满足(a)(b)(c),则判定该目标为新生目标。

7.根据权利要求6所述的方法,其特征在于,若判断该目标为重识别目标,则将其重新加入到存在目标轨迹集中,继续跟踪;若判断该目标为新生目标,则分配标签 建立新生目标状态集 其中 为新生目标状态向量,各个分量分别表示第j个目标框左上角横坐标、纵坐标,宽,高和目标标签,MΓ表示新生目标个数,n表示目标模板的个数,给已匹配的检测框对添加与新生目标对应相同的目标标签,同时建立新生目标模板,并根据新生参数初始化新生目标的采样粒子。

8.根据权利要求7所述的方法,其特征在于,假设目标运动模型为随机游走模型,若当YOLOv3检测器检测到该目标,且其检测框置信度大于阈值Tb,则:否则:

其中, 为第k帧中标签为li目标状态向量, 为第k+1帧中标签为li目标的检测框,e(k)表示零均值高斯白噪声,η为目标状态与对应检测框信息之间的学习率。

9.根据权利要求8所述的方法,其特征在于,在k-1时刻,采用多伯努利参数集表示多目标的后验概率密度,其中,Mk-1为k-1时刻存在目标的数目,表示在k-1时刻目标i的存在概率, 表示k-1时刻目标i的概率分布,由一组加权粒子表示:其中, 表示k-1时刻目标i的第j个采样粒子的权值, 表示k-1时刻目标i的第j个采样粒子的状态向量, 表示k-1时刻目标i的采样粒子个数,δ(·)为狄拉克函数;

多目标概率密度预仍为多伯努利参数集,表示为:

其中,等式右边两项表示k时刻存活目标和新生目标的多伯努利参数集, 和 分别表示k时刻存活目标i和新生目标j的存在概率, 和 分别表示k时刻存活目标和新生目标j的预测概率分布,MΓ,k表示k时刻新生目标个数;

新生目标利用检测器的检测信息、存活目标信息和目标模板信息判断得出,新生目标的粒子根据新生目标参数直接采样获得;

存活目标多伯努利参数 的预测值为:

其中

pS,k为k时刻目标存活概率。

10.根据权利要求9所述的方法,其特征在于,检测跟踪过程中,当相邻两个目标框的交并比IOU大于阈值TI时,判定这两个目标出现紧邻,且部分遮挡;

此时,(1)当目标没有被完全遮挡时,检测器检测出两个目标,采用更新机制对目标进行跟踪和模板更新;

(2)当只有一个目标能被检测器检测出来时,可判定另一个目标为被遮挡目标,提出对被遮挡目标,停止模板更新,采用该目标前两帧的位移差估计目标实时速度v与运动方向θ,对目标进行预测估计,目标框的大小保持不变;

(3)当两个目标都无法通过检测器检测出来时,依据目标与模板的量测似然判断被遮挡目标,与第(2)种情况中采用同样的方式处理被遮挡的目标;若目标在跟踪过程中消失或者跟丢,在目标分离或者重新出现时,根据检测结果与目标模板的匹配对目标进行重识别。