1.一种基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,包括以下步骤:
构建基于在线学习的目标跟踪器T0;
构建在线可靠性评估模块ORE,其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成,分别评估跟踪结果、模板和跟踪器的可靠性,以为下一步决策提供依据;
构建动态模板更新模块DTU,其主要由一个模板记忆单元组成,通过模板写入、模板删除操作更新记忆单元中的模板,进一步通过模板统计操作判断模板数量是否充足,以为下一步决策提供依据;
构建自适应模板选择模块ATS,其通过读取模板策略、记忆单元,自适应地选择当前帧使用的模板,作为基于离线学习的孪生跟踪器的输入;
构建基于离线学习的孪生跟踪器T1,其在执行跟踪任务前根据ATS自适应地选择当前帧的模板,可以是单模板,也可以是多模板;
对获取到的一帧图像采用T0和T1进行双向目标跟踪,包括以下步骤:选择将图像输入跟踪器T0或跟踪器T1,若为第一帧图像,则默认选择T0,否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板;
根据ORE判断跟踪结果、模板或跟踪器的可靠性,更新切换模式、跟踪器和模板策略的状态值,判断是否直接用跟踪器T0或T1的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器;
如果模板可靠或者跟踪器不可靠,则根据DTU更新、统计记忆单元中的模板,更新切换模式、跟踪器和模板策略;
如果选择T1进行跟踪,根据ATS从记忆单元中选择T1需要使用的模板。
2.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,构建基于在线学习的目标跟踪器T0的具体方法为:在线跟踪前,采用VITAL跟踪算法并利用ILSVRC‑VID数据集对T0进行离线预训练;
在线跟踪时,利用第一帧对T0进行参数初始化以适应当前任务,具体为在第一帧给定真实框周围采集5000个负样本、500个正样本,并对跟踪器迭代训练15轮;从第二帧开始,在上一帧预测目标框周围采集200个负样本、50个正样本,并对跟踪器训练1轮。
3.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,构建在线可靠性评估模块ORE的具体方法为:给定第t帧输入的图像,跟踪器Ti输出当前预测目标的置信度得分 对结果可靠性的评估方法 表示如下:
这里i=0,1
其中,τ1是跟踪结果的置信度阈值;跳跃函数sgn(·)用于将所有的 映射到{‑1,0,
1};如果 返回1,则说明跟踪结果是可靠的;否则跟踪结果被判定为不可靠;
对模板的可靠性进行评估,使用一个更严格的阈值τ2以过滤掉不可靠的目标模板,评估方法 表示如下:
这里i=0,1
其中, 是模板Zl(l∈{0,k,N‑1})相应的置信度得分;如果 返回1,说明模板是可靠的;
对跟踪器的可靠性进行评估,评估方法Etra(Ti)表示如下:这里i=0,1
其中,failNum(Ti)表示在连续帧中跟踪失败的总次数,一旦跟踪结果是可靠的,其将会被重置为0;阈值τ3是连续帧失败总次数的上限;如果Etra(Ti)返回1,说明跟踪器是可靠的。
4.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,构建动态模板更新模块DTU的具体方法为:设置一个模板记忆单元Z={Z0,Z1,...,ZN‑1},其容量为N,并且根据第一帧给定真实框得到的第一个模板Z0进行初始化;
对于后续帧,设置模板写入和模板删除操作动态地更新模板记忆单元;当模板写入操作被执行,可靠的模板以及相应的权重将以队列的形式加入记忆单元;当模板删除操作被执行,除了第一帧模板外,记忆单元中的其他模板都将被删除;
设置模板统计操作,当记忆单元中的模板总数达到上限,下一帧使用T1单独跟踪策略。
5.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,构建自适应模板选择模块ATS的具体方法为:标记第一帧模板为Z0,最新帧模板为ZN‑1,中间帧模板为Zk,k∈(0,N‑1),其中中间帧模板Zk从记忆单元中根据权重自适应选择;
根据变量ASS定义不同的模板策略Temp,表示如下:其中P0表示仅使用第一帧模板,P1表示仅使用最新帧模板,P2表示同时使用第一帧、中间帧和最新帧,中间帧根据模板权重选择;P0和P1属于单模板策略,P2属于多模板策略;
对于使用T0和T1联合跟踪的情况,进一步将ASS表示为:其中Count(·)表示记忆单元中模板的总数量,其最大容量为N;
对于使用T1单独跟踪的情况,进一步将ASS表示为:其中Recovery用于标识当前帧使用第一帧模板进行重检测;若使用,则Recovery=1,否则为0。
6.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,构建基于离线学习的孪生跟踪器T1的具体方法为:对视频的第一帧图像,基于给定的真实框的中心点,裁剪出127*127大小的区域作为模板图像;对于视频的后续帧图像,基于上一帧预测的边界框的中心点,裁剪出255*255大小的区域作为搜索区域图像;
加载在ILSVRC‑VID数据集上预训练好的参数模型;
将每一个模板Zl(l∈{0,k,N‑1})以及搜索图像Xt输入T1,得到三组分类图 和三组回归图 分别表示为:
和
将得到的三组分类图和回归图采用按位相加的方式进行融合,得到预测目标结果。
7.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法,其特征在于,对获取到的一帧图像采用T0和T1进行双向目标跟踪的具体方法为:选择将当前帧图像输入跟踪器T0或跟踪器T1,若为第一帧图像,则默认选择T0,否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板;
当采用T0跟踪器,首先获得初始跟踪结果PR0,将该结果输入ORE,由结果可靠性评估器评估跟踪结果的可靠性;如果结果PR0可靠,PR0即为当前帧的最终跟踪结果,表示为FR0,其进一步作为模板由模板可靠性评估器评估可靠性;如果模板是不可靠的,则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2,即为包含第一帧、中间帧和最新帧的多模板策略,表示当前帧结束,下一帧采用T0跟踪,若需要使用T1辅助跟踪,其模板策略为多模板;如果模板是可靠的,则执行模板写入操作更新模板记忆单元,此时模板及其权重都会被写入,写入后模板统计操作用于计算记忆单元中的模板数量,进一步判断是否充足,如果充足则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1,即为仅含最新帧的单模板策略,表示当前帧结束,下一帧采用T1跟踪,其模板策略为单模板,如果模板数量不充足,则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2,即为包含第一帧、中间帧和最新帧的多模板策略;
当结果PR0不可靠,更新切换模式状态值为帧内、跟踪器状态值为T1、模板策略状态值为P2,表示当前帧未结束,将继续采用跟踪器T1进行辅助跟踪,其模板策略为多模板;由于T1不仅能通过帧内转换辅助T0跟踪,还能通过帧间转换单独跟踪,因此T1需要根据当前的切换模式进行下一步操作;首先由ATS选择当前帧的模板,接着模板与搜索区域图像输入T1得到初始跟踪结果PR1,再利用ORE中的结果可靠性评估器评估PR1的可靠性;如果PR1可靠,PR1将作为当前帧的最终跟踪结果,表示为FR1,进一步通过与T0一样的操作,将FR1输入模板可靠性评估器,以判断是否将其写入模板记忆单元中;如果PR1不可靠,当前帧的最终跟踪结果FR1则采用T0的跟踪结果PR0,此时FR1也会送入模板可靠性评估器,执行和上述一样的评估方式;
当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T1时,下一帧将采用T1单独跟踪以平衡速度和精度;此时的模板策略可以是P0、P1或者P2,即仅包含第一帧的单模板策略、仅包含最新帧的单模板策略或包含第一帧、中间帧和最新帧的多模板策略;ATS读取相应的模板输入T1后,得到初始跟踪结果PR1,PR1的可靠性由ORE中的结果可靠性评估器评估,如果PR1不可靠,PR1将作为当前帧的跟踪结果,表示为FR1,但是将由跟踪器可靠性评估器评估T1的可靠性,如果T1可靠,那么更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1,表示当前帧结束,下一帧仍然采用T1跟踪,并基于最新帧模板,如果T1不可靠,一方面会从记忆单元中删除当前模板及其权重,另一方面更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P0,表示当前帧结束,下一帧T1将采用第一帧模板进行跟踪,以从不可靠状态中恢复;
如果PR1可靠,PR1将作为当前帧的跟踪结果,表示为FR1;此时根据模板策略,需要判断当前帧是否仅使用第一帧模板恢复,并且成功,即在PR1可靠的前提下ASS是否等于P0;如果ASS=P0,则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2,表示T1从不可靠状态恢复成功后,下一帧将采用T0跟踪,以收集更多可靠的模板;如果ASS≠P0,则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P2,表示下一帧继续使用基于多模板的T1跟踪。
8.一种基于高效模板更新与选择机制的双向目标跟踪系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑7所述的方法步骤。