欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101667520
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多特征融合的异常行为检测方法,其特征在于,该方法包括以下步骤:步骤1:对视频数据集进行分帧处理,得到视频的T帧图像;

步骤2:通过OpenPose姿态提取库获取每帧图片中人物的关节点坐标信息,得到包含当前帧的18个关节点的坐标位置序列{(x11,y11),(x12,y12),…,(x1N,y1N)};

步骤3:对相邻帧的相同关节点进行向量角度θ1N和大小 的计算,得到关节点动态信息{θ11,θ12,…,θ1N},步骤4:将关节点的位置和关节点动态信息根据权重ft分配,进行特征融合,表示为18*T*4姿态特征信息矩阵S1;

步骤5:利用MTCNN提取人脸区域,并用MobileNet对检测到的人脸图像进行表情特征提取,表示为16*T*1的K1;

步骤6:将人体表情信息K1和人体姿态信息S1进行融合,表示为18*T*4的特征矩阵S2;

步骤7:将融合后的特征矩阵通过具有噪声鲁棒性的残差网络的行为识别模型,得到最终行为识别结果。

2.根据权利要求1所述的基于多特征融合的异常行为检测方法,其特征在于,所述步骤

3中,通过如下公式对关节点进行角度和大小的计算:

计算第T帧第N个关节点角度θTN的公式如(1)所示:其中PTN表示第N个关节点的特征向量,将求解关节角度的问题转化为求解向量角度问题;

计算第T帧第N个关节点速度vTN的公式如(2)所示:其中xTN、yTN表示第N个关节点的坐标值,x(T-1)N、y(T-1)N表示前一帧关节点的坐标值,利用欧氏距离计算关节点的变化距离,vTN表示在关键帧帧差时间为tT情况下关节点的速度。

3.根据权利要求1或2所述的基于多特征融合的异常行为检测方法,其特征在于,所述步骤4中,通过如下方法对权重分配ft的计算:根据关节点方向和速度的变化剧烈程度,给T帧图像分配权重fT,表示对单帧的预测概率值,计算第T个关键帧的最终权重fT的公式如(3)所示:其中θt表示第T张图像帧中的关节点最大角度变化,vt表示第T张图像帧中的关节点最大速度变化,k1、k2是角度和速度的权重值。

4.根据权利要求1或2所述的基于多特征融合的异常行为检测方法,其特征在于,所述步骤4中,通过如下方法对关节点位置信息和特征融合:按照空间信息和时序信息将关节点位置序列表示为18*T*2的坐标值矩阵,并与关节点的动态信息融合,表示18*T*4关节点特征矩阵为如(4)所示:

5.根据权利要求1或2所述的基于多特征融合的异常行为检测,其特征在于,所述步骤7中,异常行为检测模型采用了具有噪声鲁棒性的残差网络:采用包含INSP激活函数的残差网络作为异常行为识别模型,该网络在VGG-19的基础上添加残差单元,并将ReLU函数替换成NSP函数进行改进;

INSP的公式如(5)所示:

σ的公式如(6)所示:

其中k表示噪声尺度的控制,S表示尺度参数,x表示前一层卷积的输入值,wi表示前一层卷积的权重,i表示第i个神经元,τsyn表示突触时间常数。