欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019112350780
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的LSTM人体行为识别方法,其特征在于包括如下步骤:

1)利用体感摄像头获取待测人体行为的人体骨架深度图像序列D,记为D={d1,d2,d3…dn},di表示D中第i个人体骨架深度图像;

2)人体前景分割,利用体感摄像头依次对D中的人体骨架深度图像进行像素评估,在视野范围内分割出与人体部位区域最相近的范围,利用边缘检测技术从人体区域范围中分割出完整的人体轮廓图像;人体骨架深度图像di对应的人体轮廓图像记为hi;

3)人体关键部位识别,利用骨架拟合方法从人体轮廓图像中识别人体关键部位,所述人体关键部位包括人体头部、躯干、左臂、右臂、左腿和右腿;

4)利用人体关键部位与虚拟骨架模型匹配的方法提取人体轮廓图像hi的人体关节点在相机坐标系中的坐标信息,所述人体关节点包括:头部、左肩膀、右肩膀、左右肩膀的中心点、左肘关节、右肘关节、左手掌、右手掌、脊柱基部、左髋关节、右髋关节、左膝关节、右膝关节、左脚掌、右脚掌;

5)将人体关节点在相机坐标系中的坐标信息转化为人体坐标系中的坐标信息;

6)利用Savitzky‑Golay平滑滤波器依次对人体坐标系中的人体关节点坐标信息进行滤波,滤波函数如下:fi=(‑3xi‑2+12xi‑1+17xi+12xi+1‑3xi+2)/35其中,fi表示为第i时刻滤波器的输出,xi表示为第i时刻骨架节点的坐标信息;

7)根据人体结构依次将人体骨架深度图像序列中每一个图像中的人体关节点坐标信息分成5组,包括左臂坐标信息序列、右臂坐标信息序列、躯干坐标信息序列、左腿坐标信息序列和右腿坐标信息序列;所述左臂坐标信息序列包括左肩膀坐标信息、左肘关节坐标信息和左手掌坐标信息;右臂坐标信息序列包括右肩膀坐标信息、右肘关节坐标信息和右手掌坐标信息;躯干坐标信息序列包括头部坐标信息、左右肩膀的中心点坐标信息和脊柱基部坐标信息;左腿坐标信息序列包括左髋关节坐标信息、左膝关节坐标信息和左脚掌坐标信息;右腿坐标信息序列包括右髋关节坐标信息、右膝关节坐标信息和右脚掌坐标信息;

8)利用LSTM和注意力机制构建LSTM‑Attention模块;

9)将左臂坐标信息序列、右臂坐标信息序列、躯干坐标信息序列、左腿坐标信息序列和右腿坐标信息序列分别送入5个相应的LSTM‑Attention模块,提取左臂、右臂、躯干、左腿以及右腿的特征;

10)对提取到的左臂、右臂、躯干、左腿以及右腿的特征进行局部融合,并将融合后的特征送入相应的LSTM‑Attention模块中进行特征提取,以提取到整个人体特征body′i;

11)将整个人体特征body′i输入到全连接层并计算其输出yi,其计算公式为:其中, 表示body′i的权重;

12)利用softmax分类器计算人体行为类别结果对应的概率值,选取类别概率最大值对应的类别作为人体行为识别的输出结果;其中,softmax计算公式为:其中,Pc表示属于人体行为类别c的概率,yi表示全连接层第i个输出。

2.如权利要求1所述的基于注意力机制的LSTM人体行为识别方法,其特征在于所述步骤中8)中所述LSTM‑Attention模块构建方法包括如下步骤:

8.1)计算LSTM网络中输出的第t个特征向量ht,计算公式如下:ht=σ(Wo[ht‑1,xt]+bo)*tanh(σ(Wf·[ht‑1,xt]+bf)*Ct‑1+σ(Wi·[ht‑1,xt]+bi)*tanh(Wc·[ht‑1,xt]+bC))其中,ht‑1表示上一序列隐藏状态信息,xt表示本序列数据,Ct‑1表示上一层记忆单元,σ表示sigmoid函数,Wo为输入向量的输出权重,bo为输出偏置,Wf为遗忘门的权重矩阵,bf为遗忘门偏置,Wi为输入向量的更新权重,bi为更新偏置,WC为新候选向量的权重矩阵,bC为新候选向量偏置项;

8.2)将ht传入Attention层计算第t个特征向量对应的注意力得分mt,计算公式如下:mt=tanh(Wtht+bt)

其中,Wt表示ht的权重,bt表示偏置;

8.3)分别计算注意力得分mt的权重;计算公式如下:

8.4)计算输出值z;计算公式如下:

z=∑istht。

3.如权利要求1所述的基于注意力机制的LSTM人体行为识别方法,其特征在于所述步骤中10)中提取整个人体特征body′i包括如下步骤:

10.1)利用人体关节点坐标信息对左臂、右臂、躯干、左腿以及右腿的特征进行局部融合,得到左臂‑躯干、右臂‑躯干、左腿‑躯干以及右腿‑躯干的局部融合序列;

10.2)将局部融合后的左臂‑躯干、右臂‑躯干、左腿‑躯干以及右腿‑躯干序列送入下一层4个LSTM‑Attention模块中进行特征提取,得到左臂‑躯干、右臂‑躯干、左腿‑躯干以及右腿‑躯干的新特征;

10.3)对左臂‑躯干、右臂‑躯干、左腿‑躯干以及右腿‑躯干的新特征进行局部融合,得到上半身与下半身序列;

10.4)将上半身与下半身序列送入下一层2个LSTM‑Attention模块中进行特征提取,提取到上半身以及下半身特征;

10.5)对获取的上半身以及下半身特征记进行局部融合,得到整个人体的序列;

10.6)将整个人体的序列送入下一层LSTM‑Attention模块中进行特征提取,得到整个人体特征body′i。