欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020114553227
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-06-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无人机视频多目标跟踪方法,其特征在于,该方法具体包括以下步骤:

S1:获取图像检测结果,并利用前后帧目标间的位置和大小信息对轨迹进行初始化;

S2:对轨迹的位置状态进行预测,具体包括:根据轨迹管理中所获得的轨迹的曲线函数表达式,进而拟合曲线表达式对下一时刻状态进行预测,并结合一步预测对轨迹的位置状态进行预测,其中一步预测假设目标运动状态为匀速直线运动,定义匀速直线运动卡尔曼滤波状态转移矩阵,最后通过从轨迹管理中得到的曲线预测的置信度,将基于一步预测的状态预测和基于曲线拟合的状态预测进行线性融合,获得轨迹预测位置;

S3:采用薄板样条插值配准算法对轨迹和量测进行配准关联一体化,迭代求解轨迹与量测的对应关系;

S4:将轨迹与量测的对应关系和变换后的轨迹引入卡尔曼状态方程,并对未匹配的轨迹和量测进行再次匹配;具体包括:将配准关联一体化方法求解变换后的轨迹,代入卡尔曼状态预测方程中,根据获得的对应关系更新对应轨迹卡尔曼状态,同时对于上一时刻未匹配的轨迹,利用其轨迹历史运动状态预测当前时刻状态,然后再次将其与当前时刻未匹配量测带入配准关联一体化步骤中进行关联;

S5:建立一种轨迹管理方法,更新轨迹状态并构建轨迹曲线表达式,处理轨迹的初始和终止、误检删除、漏检恢复、轨迹平滑;具体包括以下步骤:S51:按照对应关系并基于卡尔曼滤波更新方程对轨迹位置进行更新,利用轨迹框宽高和对应量测框宽高的平均对轨迹大小进行更新,按照对应量测外观更新轨迹外观;

S52:保存轨迹历史运动信息,对历史轨迹位置进行线性拟合,构建曲线的数学表达式,并建立表达式的相应置信度,若曲线连续拟合超过一定帧数且曲线较为平滑,则将该曲线表达式设定高置信度;

S53:建立轨迹与量测状态的判别方法,若轨迹位置超出图像边界或轨迹连续三帧未匹配上对应量测,则判断该轨迹终止,若量测连续三帧没有对应关系,判定其为误检,将其删除;若轨迹部分帧未匹配上,则轨迹存在漏检,利用漏检帧的前后帧位置的平均对漏检位置进行恢复;最后,将判定状态为终止的轨迹利用多项式平滑算法对轨迹进行平滑操作。

2.根据权利要求1所述的无人机视频多目标跟踪方法,其特征在于,步骤S1具体包括:

通过所获取的图像检测结果,对视频初始前5帧图像检测结果进行初始化轨迹操作,利用前后两帧量测之间的位置邻近度和大小信息计算相似度成本矩阵,并通过设定相应阈值判断目标间是否相似,从而相互关联。

3.根据权利要求1所述的无人机视频多目标跟踪方法,其特征在于,步骤S3具体包括以下步骤:

S31:获取待匹配的轨迹与量测,取目标矩形框表示的中心点位置定义预测轨迹点阵为x={xi,i=1,…,n}和目标量测点阵为y={yj,j=1,…,m};

S32:计算预测轨迹xi与量测yj之间的外观差异矩阵 通过采用预训练深度特征网络VGG19,去掉其全连接层,提取轨迹与量测的conv3‑4,conv4‑4,conv5‑4的深度卷积特征图,并提取目标的方向梯度直方图特征,利用线性组合的方式将特征进行融合,获得目标轨迹和目标量测的图像特征向量,并利用双线性相似性度量方法计算轨迹与量测的外观相似度,对相似度矩阵取负对数得到外观差异矩阵S33:计算预测轨迹xi与量测yj之间的大小差异矩阵 通过获取轨迹与量测的宽和高,求取目标轨迹与目标量测之间的面积,计算轨迹与量测之间的宽度相似度,长度相似度,面积相似度,通过线性组合获得其大小相似度矩阵,对相似度矩阵取负对数得到大小差异矩阵S34:计算预测轨迹xi与量测yj之间的运动差异矩阵 通过计算轨迹与量测间的欧式距离,获得运动差异矩阵S35:获得外观、大小、运动差异矩阵后,通过线性组合融合外观、大小及运动差异矩阵,获得混合特征差异矩阵 然后构建轨迹与量测之间的空间变换函数f(xi);

S36:基于混合特征差异矩阵和空间变换函数构建轨迹与量测之间的配准关联一体化目标函数;

S37:利用线性分配算法及正交三角分解,迭代求解配准关联一体化目标函数,直至轨迹与量测的平均距离小于相应阈值,获取轨迹和量测之间最优的对应关系矩阵。

4.根据权利要求3所述的无人机视频多目标跟踪方法,其特征在于,步骤S35中,构建的轨迹与量测之间的空间变换函数为: 其中,d表示仿射系数矩阵,ω表示非刚性形变系数矩阵,是薄板样条插值函数的内核向量,内核向量是n维行向量且在二维图像中的定义为: xc是从点阵x中选出来的一组控制点。

5.根据权利要求3所述的无人机视频多目标跟踪方法,其特征在于,步骤S36中,基于混合特征差异矩阵和空间变换函数构建轨迹与量测之间的配准关联一体化目标函数为:其中,P(Lij)为轨迹与量测的关联概率,当轨迹xi与量测yj对应时,P(Lij)值为1,否则P(Lij)值为0,正规化参数λ用于调节非刚性形变系数矩阵ω。

6.根据权利要求3所述的无人机视频多目标跟踪方法,其特征在于,步骤S37具体包括:

在构建出轨迹与量测配准关联一体化目标函数后,利用线性分配算法求解轨迹与量测的混合特征差异矩阵Lij,获取关联概率P(Lij),随后对目标函数进行正交三角分解,求解出仿射系数di和非刚性形变系数ωi的最小二乘解,迭代求解此步骤,直至轨迹与量测间的平均距离D小于相应阈值Dt,获取轨迹与量测最优的关联结果。