欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018103268706
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于时序检测单元预筛选的视频行为检测方法,其特征在于该方法包括以下步骤:步骤(1)、构建时序检测单元,提取用于生成候选片段的预筛选帧将待检测视频V分割为T/nu个连续的时序检测单元 单元与单元之间无重叠部分,其中nu表示每个单元的帧数,sf表示起始帧,sf+nu-1表示结束帧;

所述的待检测视频V包含T帧,时间长为t秒,则 视频帧率w=T/t;

步骤(2)、对上述时序检测单元进行预筛选处理,获得候选片段行为单元集;

将所有时序检测单元的起始帧 nu=w/2均输入至Faster R-CNN网络进行目标检测,输出结果为帧图像中各目标及其分类概率,然后将其中检测为人类目标概率≥80%的源时序检测单元生成单元集{ui},再从其中筛选出时间轴连续的时序检测单元组成候选行为单元集{uj};

步骤(3)、候选行为片段特征提取

候选行为单元集{uj}中的每一个单元采用视觉编码器Ev进行处理,得到单元层级表示fu=Ev(u);然后将上述处理后的候选行为单元集{uj}中下标连续的单元组合后定义为单元块 得到多个单元块c,其中su表示起始单元的初始帧,nc表示单元块c中的单元数量;eu=su+nu·(nc-1)则是结束单元的初始帧, 称为c的内部单元;定义c的上下文单元分别为 和 nctx表示作为上下文单元帧数;单元的内部特征和上下文特征分别由函数P提取并池化生成最终特征池;c的最终特征fc与上下文特征和内部特征连接;fc由下式得到:其中||表示对P的向量连接和平均池化;

步骤(4)、假定一个单元回归模块,输入为单元块c的最终特征fc,输出为时序边界回归补偿;起始回归补偿os、结束回归补偿oe由下式得到:os=su-sgt,oe=eu-egt

其中,su、eu表示c的起始单元初始帧和结束单元初始帧;sgt、egt是真实边界的起始帧和结束帧;

步骤(5)、最终特征fc输入LSTM网络,得到背景/行为分类及初步边界;

为得到背景/行为分类,需要对LSTM网络训练过程以及损失函数进行调整,具体如下:给每个单元块c打上分类标签(是否为行为);正样本标签的单元块需满足以下条件之一:(1)单元块与某个已知真实行为片段重叠;(2)单元块与某个已知真实行为片段的时序交除并(tIoU)大于0.5;若某单元块与任意已知真实行为片段的tIoU等于0,则它为负样本;

其余样本不输入网络参与训练;

定义一个多任务损失函数L用于训练分类以及边界回归;

L=Lcls+λLreg

其中,Lcls表示动作/背景分类的损失,它是一个标准Softmax损失函数;Lreg是时序边界回归的损失,λ是一个超参数;回归损失Lreg由式(3)得到:采用L1距离范数;表示标签,1为正样本,0为负样本;Npos表示正样本的数量;只对正样本计算回归损失;

步骤(6)、采用步骤(4)得到的边界回归补偿对步骤(5)得到的初步边界进行调整,从而生成准确的行为边界,进而完成行为检测。