1.一种基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:包括如下步骤:S1:读取视频并处理,具体包括初始化网络模型,读取网络视频,获取所述视频的视频流中Q个图像帧,裁剪图像大小;
S2:调整VGG19网络每个卷积层的特征大小,删除全连接层,选取VGG19网络中包含高层语义特征和浅层网络所代表的空间特征的conv2‑2层特征、conv3‑4层特征和conv5‑4层特征;
S3:提取CN特征,包括将RGB空间转化成了11维的颜色特征空间,并利用主成分分析法(PCA)将11维颜色特征降为2维颜色特征;
S4:形成新的conv2‑2‑CN层特征,包括将CN特征广播成与conv2‑2层特征格式一致的矩阵,并与所述conv2‑2层特征串联融合形成conv2‑2‑CN层特征;
S5:得到conv5‑4层特征、conv3‑4层特征、conv2‑2‑CN层特征的矩阵形式;
S6:根据各层特征获取循环样本矩阵,训练分类器 训练出三个独立的目标位置相关滤波器模型,计算相应的滤波输出响应;
S7:以最大输出响应为基准,用线性三次插值的方法对三个层的输出响应进行缩放调整,对调整后三个层的输出响应值进行加权融合;
S8:更新目标滤波器参数;
S9:目标尺度估计
在被测目标周围采集一系列尺度不同的图像块xsl,提取m维HOG特征,利用这些图像块训练岭回归分类器,并在线性空间进行求解,获得一维的尺度相关滤波器,将一维的尺度相关滤波器的最大输出响应作为新的一帧中目标的尺度,更新尺度滤波器参数;
S10:Q‑1后,判断Q是否等于0,如果是则结束跟踪过程,否则跳转到下一帧的目标跟踪过程中,重复S2~S9。
2.根据权利要求1所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:获取视频流中的Q个图像帧,将RGB图象做灰度变换并提取红外特征、深度特征构成三通道多模态图象作为模板。
3.根据权利要求2所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:裁剪图像大小,是以前一图像帧的估计位置为中心裁剪图像帧大小为n×n的搜索窗口。
4.根据权利要求3所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:调整VGG19网络每个卷积层的特征大小,是在在给定的大小为n×n的搜索窗口的图像帧上,设定一个空间大小为
5.根据权利要求4所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:提取CN特征具体步骤如下:
S1:利用最小化公式(2)可以得到当前t帧的合适的降维图:其中, 是仅取决于当前帧的数据项; 是与权重α1,...,αt有关的平滑项;
S2:D1维学习的外观特征 在标准正交D1×D2基础上寻找投影矩阵Bt,新的D2维学习的外观特征 可以根据线性映射得到,如式(3)所示;
针对大小为M×N的目标区域,数据项 如式(4)所示,包含当前外观特征的重构误差,式(4)的最小化即为当前外观特征上的PCA降维;
S3:为了获得更加鲁棒的投影矩阵,将平滑项加入式(2)中,可以得到新投影矩阵Bt和先前投影矩阵Bj之间的平滑误差,计算公式如式(5)所示;
其中,Bi中每个基本向量 的权重 满足:联合数据项(4)式和平滑项(5)式,并在约束条件 下,将损失函数最小化,即可求出响应分数 如式(6)所示;
‑1
其中,F 表示傅里叶逆变换, 表示卷积,A表示分类器的系数,表示在线学习的目标外观特征,F(.)表示离散傅里叶变换(DFT)算子,k(x,x)是核函数。
6.根据权利要求5所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:根据各层特征获取循环样本矩阵,训练分类器 训练出三个独立的目标位置相关滤波器模型具体步骤如下:S1:根据各层特征获取循环样本矩阵,循环移位图像块,xi(i∈{0,…,n‑1}×{0,…,n‑
1})写成特征循环移位矩阵(1)形式为:循环矩阵经离散傅里叶变换(Discrete Fourier Transform,DFT)对角化为:H
X=Fdiag(Fx)F (7)H
其中,F是F的埃尔米特变换,F为离散傅里叶变换矩阵;
S2:训练分类器 对于所有训练样本X和预期输出Y,分类器权重ω由优化目标函数(8)求解;
xi是通过循环移位获得的训练样本;yi是xi高斯标签;λ是正则化参数;φ是核k诱导的高维特征空间的映射,因此,式(8)的解可以表示为:其中ω是线性低维空间权重系数,α是从核函数映射到非线性高维空间系数;
对于在原始空间不能进行分类的样本,引入核函数的相关概念,核函数的思想就是将低维的线性不可分问题映射到高维空间,使问题在高维空间线性可分,假设H是某种特征空间;如果存在某个映射φ(x):x→H,则核函数k(x,x)满足的内积如下:T
k(x,x′)=φ(x)φ(x′) (10)联立式(8)、(9)和(10)可以将分类器权重ω的求解转化为求解分类器系数A为:其中F(.)是离散傅里叶变换(DFT)算子,k(x,x)是核函数;
S3:分类器响应输出:
‑1
其中 表示卷积运算;F 表示傅里叶逆变换;表示在线学习的目标外观模型,根据式(12)获得所有测试样品响应向量 对物体预测位置的最大响应的位置。
7.根据权利要求6所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:对调整后三个层的输出响应值进行加权融合,具体步骤如下:S1:根据经验将权重参数从第l层减少一半到第(l‑1)层,即l层的权重εl满足式(13):l‑5
εl=2 (13)
S2:conv2‑2‑CN层特征的权重选择与conv3‑4层一样,假设加权融合后响应值最大的位置是(m,n)处,则根据公式(14)进行目标位置P(m,n)的预测:
8.根据权利要求7所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:线性三次插值更新目标滤波器参数,更新目标表观模型 和分类器系数A,更新公式为式(15):
其中,γ为学习率; 为第t帧的目标表观模型; 为第t帧的分类器系数。
9.根据权利要求1所述基于自适应特征融合的多尺度滤波目标跟踪方法,其特征在于:线性三次插值更新尺度滤波器参数,更新目标表观模型 和分类器系数A,更新公式为式(16):