欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020114344005
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,包括:提取视频序列中的某一帧图像作为进行目标跟踪的第一帧图像,对第一帧图像中需要进行跟踪的目标物体进行标定,并对目标外观模型参数进行初始化,得到模板图像;

将模板图像输入至训练好的共享卷积神经网络,获得模板图像特征;

将当前帧作为搜索图像,输入至共享卷积神经网络和先验编码器,分别获得搜索图像特征和先验编码器隐空间;

将模板图像特征与搜索图像特征进行交叉相关运算,再与先验编码器隐空间的均值进行串联;

将串联后的结果输入至掩膜解码器,获得二进制掩膜,得到目标的边界框,实现目标的定位。

2.根据权利要求1所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,所述共享卷积神经网络的训练包括:将搜索图像与真实标定掩膜进行串联后输入至识别编码器,得到识别编码器隐空间;

计算先验编码器隐空间与识别编码器隐空间之间的边界框回归损失;

将模板图像特征与搜索图像特征进行交叉相关运算,与先验编码器隐空间的随机采样的结果进行串联;

将串联后的结果输入至掩膜解码器,获得二进制掩膜;

计算二进制掩膜与真实标定掩膜之间的交叉熵损失;

将边界框回归损失和交叉熵损失加权得到网络的损失值;

采用随机梯度下降法,根据损失值优化网络,进行迭代训练,直至最小化证据下线,得到训练好的共享卷积神经网络。

3.根据权利要求2所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,所述最小化证据下线包括:采用识别编码器建立目标分割与带有不确定性的位置之间的映射;

将识别编码器输出的概率分布与交叉相关运算的结果进行结合,在识别编码器输出的概率分布中随机样本,产生一个分割预测,分割预测与原始搜索图像的真实值标签之间的距离由交叉相关运算的交叉熵损失进行衡量;

采用KL散度以惩罚识别编码器与先验编码器之间的距离,交叉熵损失和KL散度结合,得到共享卷积神经网络的最小化证据下线。

4.根据权利要求3所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,获取编码器隐空间包括:在同一搜索图像上应用多次先验编码器;通过边界框回归损失,结合真实值标签对先验编码器的概率输出进行监督,产生一个编码了所有可能特征的完整概率分布至一个隐空间Ω中;其中,先验编码器的参数为φ,其估计了原始搜索图像X的特征变体;先验编码器的概率输出分布为平行于坐标轴的正态分布,其均值为μprior(X;φ)∈Ω,方差为σprior(X;φ)∈Ω。

5.根据权利要求4所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,从隐空间中随机采样包括:由高斯隐空间N(μrecog,σrecog)采样Z的过程转变为随机采样服从正态分布的噪声o′,采样Z的过程表示为:Z=μ+o′σ,o′∈N(0,I);其中,μ表示高斯隐空间的均值,σ表示隐空间的方差,N(0,I)表示标准正态分布。

6.根据权利要求5所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,先验编码器隐空间的均值进行串联包括:在第i次迭代过程中,i∈1,2,...,m,m表示正整数,从先验编码器概率分布中随机采样Zi:Zi~P(·|X)=N(μprior(X;φ),σprior(X;φ));将样本Zi广播至N通道的搜索图像特征图,使搜索图像特征图与分割掩膜具有相同的维度,再将搜索图像特征图与交叉相关运算的结果gSiamese进行串联得到串联后的特征:其中,函数gcomb由三组连续的1*1卷积层组成,σ表示孪生网络参数,τ表示gcomb中卷积层参数。

7.根据权利要求6所述的基于条件变分编码器的概率孪生目标跟踪方法,其特征在于,获得二进制掩膜包括:将串联后的特征 输入至掩膜解码器gdecoder生成分割掩膜: 其中,θ表示掩膜解码器参数。

8.一种基于条件变分编码器的概率孪生目标跟踪系统,其特征在于,包括:图像获取模块,用于提取视频序列中的某一帧图像作为进行目标跟踪的第一帧图像,对第一帧图像中需要进行跟踪的目标物体进行标定,并对目标外观模型参数进行初始化,得到模板图像;

第一提取模块,用于利用训练好的共享卷积神经网络,获得模板图像的图像特征;

第二提取模块,用于将当前帧作为搜索图像,利用训练好的共享卷积神经网络和先验编码器,分别获得搜索图像特征和先验编码器隐空间;

运算模块,将模板图像特征与搜索图像特征进行交叉相关运算,再与先验编码器隐空间的均值进行串联;

定位模块,将串联后的结果输入至掩膜解码器,获得二进制掩膜,得到目标的边界框,实现目标的定位。

9.一种计算机设备,包括存储器和处理器,所述处理器和所述存储器相互通信,所述存储器存储有可被所述处理器执行的程序指令,其特征在于:所述处理器调用所述程序指令执行如权利要求1‑7任一项所述的方法。

10.一种计算机可读存储介质,其存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1‑7任一项所述的方法。