欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019104997869
申请人: 北京工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-04-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的视频目标检测方法,其特征在于,包括如下步骤:

步骤S1,将当前时间点的视频帧图像输入Mobilenet提取得到候选特征图;

步骤S2,在与当前时间点相邻的过去时间段内设定一个时序特征融合窗口,对于特征融合窗口内的待融合的视频帧,分别计算其图像拉普拉斯方差,将其归一化后,作为各待融合帧的融合权重,按照权重将所有待融合帧的候选特征图进行加权求和得到当前帧所需的时序特征,将当前时间步视频帧的候选特征与时序特征在通道维相连接,得到融合了时序信息的待检测特征图;

步骤S3,利用卷积特征提取层以及最大池化层在待检测特征图上提取出额外尺度的待检测特征图;

步骤S4,在不同尺度的待检测特征图上,利用卷积层进行当前帧上目标类别以及边界框坐标的预测。

2.根据权利要求1所述的基于注意力机制的视频目标检测方法,其特征在于,所述步骤S1中,对当前时间点t视频帧进行检测首先将当前时间点视频帧图像It输入Mobilenet网络进行特征提取得到候选特征图Ft;其中 HI和WI分别为视频帧的高和宽,提取得到候选特征图 代表实数,C1,H1和W1分别为候选特征图的特征通道数、高和宽。

3.根据权利要求2所述的基于注意力机制的视频目标检测方法,其特征在于,所述步骤S2中,在当前时间点t的过去时间段内设定一个宽度w为s的特征融合窗口,令特征融合窗口内的待融合视频帧图像为:{It-i}i∈[1,s],特征融合窗口内待融合视频帧对应的候选特征图为:{Ft-i}i∈[1,s];将每一个待融合视频帧图像It-i转换为灰度图Gt-i;

计算每个灰度图Gt-i的拉普拉斯方差 通过归一化拉普拉斯方差计算所有待融合视频帧的融合权重αt-i;将特征融合窗口内的帧候选特征以加权求和的方式进行融合得到当前时间点的时序特征 将时序特征与当前帧的候选特征在通道维进行连接,完成时序信息的融合,得到第一个用于检测的待检测特征图

4.根据权利要求3所述的基于注意力机制的视频目标检测方法,其特征在于,所述步骤S3中,在得到当前时间点融合了时序特征的待检测特征图 后,利用3×3卷积层和2×2池化层对待检测特征图进行进一步特征提取同时减小待检测特征图的尺寸,检测特征图进行进一步特征提取同时减小待检测特征图的尺寸,经过e-1次特征提取,最终得到e个待检测特征图:

5.根据权利要求4所述的基于注意力机制的视频目标检测方法,其特征在于,所述步骤S4中,经过额外的特征提取,获得了多尺度的待检测特征图,通过在不同尺度的待检测图上设置具有先验位置的锚框,利用两个3×3卷积层在这些待检测特征图上利用通道维分别进行目标边界框相对锚框的偏移量和目标的类别;经过3×3卷积类别预测层和

3×3卷积边界框预测层对于每个待检测特征图 经过卷积类别预测层和卷积边界框预测层预测后得到分类预测结果 以及边界框预测结果