1.消费级无人机视频运动目标精准追踪方法,其特征在于,在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进:第一,提出基于决策感知的关联锁定追踪算法,包括:一是基于决策感知的追踪框架;二是特征关联选择,三是特征决策感知,四是决策感知权值计算;第二,提出基于差异叠加检测的关联锁定追踪方法,包括:一是运动目标快速锁定,二是基于差异叠加检测的关联锁定目标追踪;第三,提出二维目标鲁棒性尺度估算方法,包括:一是基于透视投影模型的尺度估算,二是基于关联锁定的二维尺度估算追踪框架,三是二维尺度预测评估策略,四是自适应搜寻窗口尺度选择,五是尺度预测估算方法流程;
(1)针对追踪中出现的目标形变导致的漂移,采用不同的特征分别进行追踪,在决策层进行融合,得到最终结果,其中一种是构建两个关联滤波器,分别采用具备目标结构信息的HOG特征和具备目标颜色信息的CNs,计算出追踪结果后,在决策层利用滤波器的最大响应值决定各自对最终结果的权重,还有一种是利用关联锁定以及基于颜色直方图的追踪框架,然后同样融合两者的结果得到最终追踪结果;
(2)针对追踪中出现的目标遮挡问题,提出一种基于差异叠加检测的关联锁定追踪方法,首先将岭回归中的结构风险函数换为正则化函数,加入分量更好应对遮挡问题,然后在搜寻框内提取差异叠加特征并与原始样本进行叠加,增大目标与周围背景之间的差别,同时排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法,在模型更新上减少漂移,采用非连续的更新方式,应对追踪过程中的目标遮挡问题;
(3)针对追踪过程中出现的目标尺度变化问题,提出一种二维目标鲁棒性尺度估算方法,首先利用传感器数据和拍摄相机的内部参数获取目标的粗略尺度估算,设计一个二维的关联滤波器用来估算目标尺度,将目标的长和宽两个维度分别估算,当目标发生形变和尺度变换的同时准确估算出目标在视野中的真实大小,此外,提出一种自适应搜寻窗口方法,根据目标在相邻两帧的位移改变搜寻框的大小,避免目标运动过快而运动到搜寻窗口之外;在尺度目标滤波器上对样本进行降采样,降低计算数据量。
2.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,基于决策感知的追踪框架:采用尽可能简单的模型和少量的参数达到最优追踪效果,设在第t幅图像It上,追踪问题视为从备选区域集合St中找到最可能(得分最高)的区域pt:其中,T指的是将图像进行某种变换,f(T(It,p);θ)表示图像It中矩形框p在模型参数为θ下的得分,模型参数满足最小化损失函数:其中,损失函数L(θ;χt)与之前图像和图像中目标的位置相关, 为整
个模型参数空间,R(θ)和λ是防止模型太复杂而导致过拟合的正则化因子,实现有效追踪转化成选择函数f和L的问题;
目标初始化时得到目标的位置和尺度信息,在备选图像序列中找到与目标最相似的区域就是追踪目标,判断两个信号是否关联就是度量两者之间的相似度,在计算备选区域样本与目标之间的相似度是将两者作关联运算,损失函数选取计算两个向量的距离,追踪算法利用包含目标的正样本和全是背景的负样本,采用岭回归构建一个回归器来训练目标的外观模型。
3.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,特征关联选择:基于互补性特征,对运动目标进行多特征决策感知,并根据每种特征对于追踪结果的影响不同,设计一个框架进行融合来获取更精准稳定的追踪效果;
其中,HOG特征选择采用将样本区域划分成若干子区域,然后在每个区域提取32维特征,除去最后一维全部是0不考虑之外,剩下31维特征,纹理特征采用快速各向异性高斯滤波器的RFS滤波器组,该特征一共8个维度。
4.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,特征决策感知:采用不同的输入样本,训练两个滤波器,其中一个输入的图像为目标框及周围一圈背景,包含空间上下文信息,即大小为window_sz,为更好差异叠加区分目标和背景,选取HOG特征,此外为消除边界影响,对提取出的特征加入余弦窗函数处理;另一个只包含目标,输入的图像比本身的目标尺寸小,即大小为sz,为使追踪器在目标发生较大形变时,仍具备较好的鲁棒性,采用CNs特征;前者加入背景信息,扩大目标的搜寻区域,后者只针对目标,提高准确性;两个滤波器在线更新模板,追踪结果更加准确,采用多种特征决策感知目标,更多的保留目标信息并通过多手段进行目标追踪,更好应对追踪过程中的突发状况。
5.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,决策感知权值计算:采用多特征感知的加性模型,在加性融合策略下,将n种决策感知之后的最终结果,加性融合对噪声不敏感,增加追踪算法的鲁棒性,根据滤波器响应值与目标位置,得出最后的目标位置为:其中,res1与res2为两个滤波器的最大响应值,p1与p2分别为最大响应值对应的目标的位置;
采用HOG和CNs决策感知的算法流程:
输入:图像序列 目标初始位置p0;
输出:目标在每帧图像的位置信息
流程一:初始化,t=1;
流程二:采用I0和p0初始化追踪器Track1、Track2;
流程三:for t=1:T
流程四:根据上一帧输出pt‑1计算当前搜寻子窗口;
流程五:对于追踪器Track1,采用HOG特征,利用目标结构信息,搜寻窗口包含空间上下文信息,并采用汉宁窗,进行窗口处理;
流程六:对于追踪器Track2,采用CNs特征,利用目标的全局颜色信息,搜寻窗口为目标本身,不做窗口处理;
流程七:由追踪模型得到两个追踪器的响应图;
流程八:在响应图中找到最大响应值,该值对应目标的最可能所在的位置;
流程九:由多特征感知的加性模型进行融合,得到目标的最终追踪结果p0;
输出:目标在每帧图像的位置信息
6.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,运动目标快速锁定:基于运动目标快速锁定的追踪算法采用滤波器W与备选区域作关联,估算出目标位置,其中,将包含目标且尺寸大于目标的图像块作为搜寻窗口,然后对搜寻窗口进行循环移位,获取不同的备选窗口,通过循环运动来近似目标的实际位移,最后构建循环结构的数据矩阵,得到训练样本;
z
假设核矩阵K由匹配模板和搜寻窗口样本进行核关联运算所得,其中匹配模板X和检测z样本Z为向量x和向量z移位得到的循环矩阵,K也是一个循环矩阵:
z xz
K=C(k ) 式4
xz
其中,k 为向量x和向量z的核关联运算,在最小二乘中引入核函数后,回归函数为f(z):z
f(z)=(K)α 式5
α为变换系数,两边进行DFT运算可得:
其中,z是预测包括目标的搜寻窗口图像块,从中检测目标的位置,x是图像中学习到的目标模型,等式右边是k乘以变换系数α的线性组合,⊙为向量中对应的元素逐个相乘,*为共辄,对式6进行DFT逆运算,得到滤波器的响应矩阵,矩阵中最大值所对应的就是目标位置,模型更新如下:其中,η为学习因子, 和 分别为当前帧t和上一帧t‑1的系数α的傅里叶变换, 和分别表示当前帧和上一帧的目标匹配模板的傅里叶变换。
7.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,基于差异叠加检测的关联锁定目标追踪:在滤波器的样本训练和滤波器参数更新两部分进一步改进;
1.差异叠加检测
加入正则化参数防止模型过拟合,减小测试误差小,采用稀疏参数有效应对遮挡,在训练样本阶段,将差异叠加区域考虑进去,优先处理容易引起注意的部分,便于当目标被遮挡时提高追踪性能,将关注点放在背景上,去除输入信号的统计冗余,去除目标的冗余信息得到图像的显著目标,采用图像的log谱,一副图像的log振幅谱减去平均log振幅谱就是图像的差异叠加部分.
考虑图像的差异叠加信息的同时保留目标原有信息,在样本训练的过程中,Ω(u)=u+SBB(t),其中,u为输入图像,SBB(t)为显著性区域;
除去图像的冗余信息后,进行更深的差异叠加检测,基于对场景的瞬间意识有布尔映射表示,根据特征空间的先验分布和随机临界值,利用输入图像的特征图生成一系列布尔图:Bi=THRESH(φ(I),θ),
φ~pφ,θ~pθ 式8
其中,函数THRESH(*,θ)通过θ将图像二值化,φ(I)表示图像I的特征图,并归一化到0‑
255之间,pφ与pθ表示先验分布,布尔图对视觉注意的影响由关注图A(B)表示:其中,I为输入图像, 为平均关注图,用来做后续处理得到一个最终的差异叠加图S;
2.目标样本更新
在训练阶段将响应值考虑到样本更新的权重中,利用到追踪算法中检测的结果,而又不是简单采取二值策略,首先利用峰值旁瓣比来确定追踪是否有效,然后直接根据追踪结果所对应的最大响应值来确定当前追踪结果对下一帧追踪过程的影响,假设从第二帧图像开始,每幅图像的最大响应值都存储在response_all中,对于样本的更新为:其中,η为学习因子, 和 分别表示当前帧和上一帧的目标匹配模板的傅里叶变换,将检测结果考虑到样本更新当中,当目标被污染时,所占权重减小,对后续目标的影响也随之减小;
3.追踪模型更新
模型更新时采用稀疏的更新策略,模型每隔Ns帧更新一次,样本仍旧是每一帧都要更新,模型更新频率降低,节约时间,避免模型的漂移问题,本申请最后将Ns取值为6。
8.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,基于关联锁定的二维尺度估算追踪框架:设计两个一致的关联滤波器,定义为位置目标滤波器和尺度目标滤波器,分别实现目标的追踪和尺度变换,前者用于当前帧目标的定位,后者用于当前帧目标的尺度估算,两个滤波器是相对独立的,选择不同的特征种类和特征计算方式来训练和测试,采用二维滤波器,认定目标的长和宽并不是发生相同的变化,即使目标发生大的形变,仍能准确估算出目标尺度;
加入二维目标鲁棒性尺度估算的追踪器的整体框架分为两部分:位置预测和尺度大小估算,具体步骤:在目标周围的搜寻区域中通过密集采样得到训练样本并进行特征提取,对样本进行傅里叶变换,在频域利用最小二乘回归训练滤波器;在线学习得到一个位置核关联滤波器,然后将滤波器的输出值经过离散反傅里叶变换映射到时域中,找到响应图中的最大点的坐标,该点对应样本中目标的中心位置;然后,基于关联滤波器的尺度预测过程和预测目标的位置过程类似,在得到目标的位置之后,根据预设的尺度值,在目标周围进行下采样和上采样,得到一系列不同尺度的图像块;再将这些图像块进行双线性插值,将图像块的大小变为和所设计的尺度模型一致,得到训练样本;接下来进行特征提取,得到图像块的HOG特征之后,训练一个最小二乘分类器,获取一个尺度目标追踪器;另外,在得到图像块的特征之后,对特征利用汉明窗进行加窗处理,以抑制采用循环矩阵引起的图像边界在频域造成的高频噪声;
将尺度目标追踪器运用到一个新的图像上时,计算在尺度空间上的得分,即滤波器的响应值,尺度目标滤波器响应图中的最大值所在位置对于目标的最终尺度;
构建位置目标滤波器得到待追踪目标的位置,构建尺度目标滤波器并利用位置目标滤波器得到的目标中心位置得的目标尺度,并将最后的目标信息传递给下一帧图像的位置目标滤波器,两者一起运作,在线更新参数,提高整个追踪器的性能。
9.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,二维尺度预测评估策略:通过学习一个二维尺度关联滤波器来检测目标的尺度变化,依据目标的尺度变化去合理限定目标搜寻区域;
目标尺度估算最重要的一环是给出目标具体的尺度变换备选值:在尺度预测评估过程中,对于当前图像中,目标的大小为P×R,尺度目标滤波器的大小为S×S,对于每一个在目标的长和宽两个维度分别提取大小为 的图像块Jn×n,其中,a为滤波器参数因子,对于尺度变化较大的目标,备选尺度尽量相差大一点,反之,备选尺度应该变化小一点;
自适应搜寻窗口尺度选择:根据相邻两帧目标位置的偏移量来约束搜寻框的大小,基于关联锁定框架的追踪器,在进行关联运算的时候,滤波器的尺度最开始在初始化时已经确定,根据相邻两帧目标位置的偏移量来改变搜寻区域的大小,比较相邻两帧目标中心的偏移量自适应选择搜寻窗口的大小,预先设置一个临界值,当偏移量大于该临界值时,加大搜寻窗口。
10.根据权利要求1所述消费级无人机视频运动目标精准追踪方法,其特征在于,尺度预测估算方法流程:在加入尺度估算之后的整个追踪算法,首先利用位置目标滤波器得到位置信息,然后再运动尺度目标滤波器得到目标的当前尺度变化,算法中涉及到的核函数采用高斯核函数;
在尺度估算模块采用HOG特征,首先对图像进行特征提取,得到图像的d维特征的训练l l样本f ,其中l={l,2,…,d},每个特征维度分别对应着一个关联滤波器h ,最小化损失函数:其中,g为对应训练样本f所设计的滤波器输出,λ≥0为正则化参数,控制结构误差,对式子求解得到滤波器为:加入正则化因子,对滤波器进行l2约束,使得f没有非零项,缓解滤波器在频域中出现零的问题,并且避免分母为零的现象,在线解决一个d×d维的线性方程组的更新问题,为获取l l一个具备鲁棒性的逼近,更新关联滤波器Ht的分子At和分母Bt:
其中,η为学习率,最终滤波器的输出,即关联得分:
关联性响应图中最大值所对应的尺度变换就是目标当前的尺度大小;
在进行目标备选区域提取特征时,分别对目标的长和宽进行尺度变化得到备选区域,准确估算目标的尺度变化但增大了计算量,采用主分量特征转换降维,求出高维数据的协方差矩阵的特征值和特征向量,特征向量就是选取的基向量,特征向量对应的特征值代表原数据在向量的投影,特征值越大表示对应的特征向量保留的原数据的信息越多,去除数据冗余信息,减少计算的数据量;
此外,在尺度目标滤波器上,关注的是目标的大小,为减少计算量并保留目标的整体信息,在计算目标特征之前就对目标进行降采样到一定大小,而不需要对整个目标进行处理。