1.基于弱监督互补学习的人体行为检测方法,其特征在于,包括以下步骤:S1:建立基于卷积神经网络构的弱监督网络模型;
弱监督网络模型中包括具有嵌入特性的时域激活映射模型和互补消除模型;时域激活映射模型包括时域激活映射层和位于时域激活映射层之后的卷积层C1,时域激活映射模型实现在线的时域激活映射完成对动作发生的起始时间的捕获;
S2:提取带有嵌入特性的特征表示及显著加权特征;
提取待检测视频的原始特征,将原始特征输入时域激活映射模型,输出带有嵌入特性的特征表示,提取特征表示的显著加权特征;
提取待检测视频原始特征具体过程如下:
S2.1采用基于Kinetics数据集预训练建立的I3D网络模型;
S2.2采用I3D网络模型提取待检测视频V的原始特征Fi;所述原始特征Fi包括外观RGB特征和光流特征;
特征表示的显著加权特征获取过程为:
利用sigmoid函数计算视频V中第i个视频的第j个输入片段的原始特征Fi,j的权重si,计算公式如下:根据所得原始特征Fi,j和权重si获取显著加权特征,计算公式如下:att
公式(5)中, 表示Fi,j的显著加权特征;利用F 表示整个加权后的特征;
S3:根据特征表示及显著加权特征获取初始的预测结果;
将步骤S2所得显著加权特征输入分类器并获取初始的预测结果;预测结果包括行为类别和起止时间;
S4:利用互补消除模型获取消除后的预测结果;具体为:S4.1:采用互补消除模型对步骤S2所得显著加权特征进行互补消除,提取消除后的嵌入特征;具体过程如下:通过原始分类器S_cla和互补分类器E_cla对输入的显著加权特征进行互补消除,当对应类别的时域激活映射区域R高于阈值α时,认为该区域对分类结果的贡献较高,利用消除原理,将具有嵌入特性的特征表示F'对应区域擦除,得到消除后的嵌入特征;
S4.2:将步骤S4.1所得嵌入特征输入时域激活模型及互补分类器,获取消除后的预测结果;
S5:将消除后的预测结果与未通过消除的初始的预测结果进行融合,获取最终预测结果。
2.根据权利要求1所述的基于弱监督互补学习的人体行为检测方法,其特征在于,步骤S1所述卷积神经网络的卷积层卷积核大小为1×1,卷积神经网络的激活函数为Relu激活函数,Relu激活函数如下:
3.根据权利要求2所述的基于弱监督互补学习的人体行为检测方法,其特征在于,步骤S1中卷积层C1的激活函数为:其中,zi表示卷积层C1的ReLU函数,f256和f1分别表示全连接层输入维度为256和1的特征。
4.根据权利要求2所述的基于弱监督互补学习的人体行为检测方法,其特征在于,在卷att积神经网络Relu激活函数的后面增加一个卷积层C2以提取F 的卷积特征,卷积核大小为1l l l×N×1,channel数为类别数N,然后,提取第i个视频的双流特征码F ,F∈R ,其中l为第i个l视频的帧数除以16得到的输入片段数,并对F对应的每个输入片段求和得到Ff。