欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108461403
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无监督相似性判别学习的目标跟踪方法,包括如下步骤:

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象,目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定;

步骤二、训练数据集生成

训练数据集生成分为两个步骤,首先是数据集的选取,然后是数据集的制作;选取目标跟踪数据集OTB 2015作为训练数据集,并从中选取其中一类进行数据集的制作,具体为,在每一个图像帧中按行和列进行图像块的循环移动,移动步长为10个像素,图像块尺寸大小为127×127像素,每一帧图像生成500个循环移动的图像块,若训练数据集共有M张图像帧,则最终则生成500×M个图像块;

步骤三、无监督相似性判别网络的构建与训练

该网络由特征提取层、聚类层和分类层三部分构成,采用在大型分类识别数据集ImageNet上预训练的VGG‑16前16层作为特征提取层,并将得到的特征输入无监督聚类层,利用t‑SNE降维得到数据的低维分布,将数据间欧式距离转化为相互间的条件概率,从而表T示相互之间的相似度;具体为,给定L个高维特征X=x1,K,xL,这里x1,K,xL为特征提取层提取的L张图像的卷积特征,其中以xi为中心,按高斯分布选择xj作为近邻点的条件概率为其中σi为方差;需要根据困惑度大小来调节σi,其中 表示Pi的熵,困惑度大小与σi大小呈正相关关系,这里设定困惑度为50;对于低维度下的yi,设定高斯分布的方差为 则低维度数据之间的相似度为 需要迭代优化高维和低维数据分布之间的KL散度,使低维数据分布拟合高维数据分布,目标函数为

‑4

迭代初始令 并用高斯分布N(0,10 I)随机初始化低维数据分

T

布Y=y1,K,yL,这里y1,K,yL为聚类后的数据特征,从t=1迭代至t=T,这里设定T=1000,迭代步骤分为3步,分别是计算低维数据的联合概率 计算梯度值并更新低维的数据分布

(t)

其中qij表示yi和yj之间的相似度,Y 表示迭代t次的解,λ表示学习速率,m(t)表示迭代t次T的动量,这里设置 λ=50;迭代聚类完成后,最终得到的数据分布Y=

y1,K,yL,即表示数据之间的相似度;相似度较高的数据将聚为一类数据,称之为簇,簇的个数则是类别总数K,该簇内图像的伪标签即为簇的类别,将每张图像伪标签的簇作为数据的真实标签,再将提取的图像特征输入全连接层并进行分类,其中全连接层神经元节点数Z=K,该网络损失函数设置为交叉熵损失;无监督相似性判别网络构建完成后,则使用步骤二中生成的数据集进行网络训练,训练时反向传播采用经典的随机梯度下降法,最终该网络将输出每张图像的类别和相似度,获得对图像相似性判别的初始能力;

步骤四、图像输入

在实时处理情况下,提取通过摄像头采集并保存在存储区的视频图像,作为要进行跟踪的输入图像;在离线处理情况下,将已釆集的视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像,如果输入图像为空,则整个流程中止;

步骤五、目标定位

以上一帧确定的目标图像块为中心,在当前输入帧目标中心周围确定待搜索区域,待搜索区域与目标块的IOU>0.8,在待搜索区域里按高斯分布初始化1200个与当前帧目标图像相同的粒子,其中每一个粒子代表一个目标候选块,采用粒子滤波的方法获取目标候选块,将粒子滤波输出的预测目标图像块经过无监督相似性判别网络的全连接层进行分类识别,计算得到该目标候选块与目标图像块的相似度,同时将其相似度得分c和阈值c’进行比较,如果该得分c小于预先设置的阈值c’=0.8,则认为目标跟踪失败,表示目标不可信,跳转到步骤四,否则,则认为目标跟踪正确,并将该目标候选块的位置作为目标所在的位置,从而得到跟踪结果,目标定位完成,跳转到步骤六;

步骤六、网络在线更新

成功确定跟踪的结果之后,在目标图像块周围并且IOU>0.8的区域内提取100个相同大小图像块作为网络更新样本,将这些网络更新样本依次输入网络中进行微调训练,训练时,固定网络模型的卷积层参数不动,只对网络的聚类层与全连接层的参数进行微调,目的是使该网络模型能够适应当前跟踪的视频序列,即能够更加准确进行图像块的分类识别,进行准确的目标定位;然后跳转到步骤四,跟踪结束。