欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020105397605
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于骨骼时空及动态信息的双流卷积神经网络动作识别方法,其特征在于,该方法包括以下步骤:(1)输入骨骼序列,将所获取的骨骼序列进行坐标系转换;

其中,所述步骤(1)具体为:

由深度传感器捕获的骨骼序列皆位于摄像机为原点的笛卡尔坐标系,对骨骼三维坐标进行坐标系转换以获得有效表征空域信息的身体坐标系,其方法是:构造以运动幅度较小的髋关节为原心的身体坐标系,对于具有N个关节点,F帧的视频序列,关节坐标变换可表示为:其中, 分别为坐标系变换前后第f帧关节j的坐标信息, 为髋关节第f帧的坐标信息;

(2)基于转换后的坐标信息构建骨骼空时特征图及关节运动速度图,具体是:(2.1)基于人体结构约束,将关节相对坐标与绝对坐标编码为骨骼空时特征图;

在所述步骤(2.1)中,将关节绝对坐标及关节之间相对坐标联合编码为彩色纹理图,构成表征动作空时域特性的骨骼空时特征图,其方法是:基于坐标转换后的骨骼序列 关节相对位置由下式获得:其中, 是第f帧中第j个关节相对第i个关节的三维坐标,表示为第j,i个关节相连骨骼的空间信息,当i=1时, 为第j个关节的绝对坐标,第j个关节的空时特征由矩阵Qj_i表示为:

只选取相关度较高的一、二级相关信息,一、二级相关信息分别如下式所示:其中,h,k;j,i;m,n表示仅由一条边相连的关节对,p,o;u,v;y,x表示由两条边相连的关节对;

按照身体结构排列坐标信息,将身体所有关节分为如下五组:左臂、右臂、左腿、右腿、躯干,每组按照关节间物理连接顺序排列,由此编码顺序得骨骼空时特征图为:其中,k为动作类别,A为关节点绝对坐标,

令 中三维坐标分别对应R、G、B三通道,将骨骼空时特征Ek转换为72×F的骨骼空时特征图;

(2.2)将相同时间步长下的关节速度信息编码为关节运动速度图;

在所述步骤(2.2)中,提取各关节速度信息以表征动作动态特性,基于速度标量信息构建表征关节运动特性的特征描述符,f帧内关节在x,y,z三方向的速度值表示如下:其中, 为关节在f+Δf帧时的三维坐标值;Δf为时间步长,Δt为:式中,FPS为所采用摄像机的帧速;

将vx、vy、vz分别对应至R、G、B,编码关节运动信息为N×(F‑Δf)维的关节运动速度图;

(3)基于运动显著性及形态学算子分别增强骨骼空时特征图及关节运动速度图特征;

其中,所述步骤(3)具体为:

(3.1)基于运动能量增强骨骼空时特征图中具有明显移动特征的关节空域信息,具体为:第k类动作序列期间,坐标为 的关节i于第f帧所具有的瞬时能量为:其中,f>1;||·||表示欧氏距离,关节i在整个动作序列中运动能量为:基于运动能量 第i个关节色彩权重 可由下式获得:式中, 分别为第k类动作序列期间所有关节运动能量的最大值及最小值;

k

按照所述编码顺序,将第k类动作中所有关节色彩权重Ω编码为运动增强权值:增强骨骼空时特征图表示为:

(3.2)基于形态学算子增强关节运动速度特征图纹理信息以提升速度估计性能,其方法是:首先对关节运动速度图进行腐蚀运算以消除噪声作如下操作:其中,X为二值图像,Θ表示腐蚀运算,E为结构元素;由公式(12)对步骤(2.2)所得f帧内关节在x,y,z三方向的速度值vx、vy、vz进行腐蚀运算:Iv=[vxΘE vyΘE vzΘE] (13)其中Iv表示腐蚀后的关节运动速度图

对腐蚀后图像再进行膨胀运算:

式中,Jv表示腐蚀并膨胀后的关节运动速度图,Θ表示腐蚀运算, 表示膨胀运算;

(4)基于双流卷积神经网络深度融合增强后的骨骼空时特征图及关节运动速度图以实现动作分类。

2.根据权利要求1所述的一种基于骨骼时空及动态信息的双流卷积神经网络动作识别方法,其特征在于,所述步骤(4)具体为:双流卷积神经网络模型是AlexNet模型,AlexNet模型的第一层、第三层及第四层中神经元个数分别是64、256、256,将骨骼空时特征图及关节运动速度图分别作为动静流的输入,通过卷积层、池化层、全连接层处理后,将单流CNN所生成的后验概率融合为最终识别结果。

3.根据权利要求1所述的一种基于骨骼时空及动态信息的双流卷积神经网络动作识别方法,其特征在于,将骨骼空时特征图及关节运动速度图分别作为动静流的输入,通过卷积层、池化层、全连接层处理后,将单流CNN所生成的后验概率融合为最终识别结果,其方法是:给定骨骼序列Sm处理分别得到骨骼空时特征图和关节运动速度图,并将二者通过双线性插值缩放至227×227像素以利于后续深度特征提取,基于CNN所提取的深度特征输出至最后一层全连接层,而后由Softmax函数对其归一化处理,得后验概率为:其中, 为第m个骨骼序列的图像 属于第n类动作的概率, 表示最后一层全连接层第n个神经元的输入,x表示骨骼空时特征图或关节运动速度图,N为动作类别数;

双流卷积神经网络模型每次输出n个 和 对每流输出采用乘法融合以获得最终分类结果:

ActionClass=Fin(Max(PSSTM⊙PJMSM)) (16)其中,Fin(·)为最大值标签函数,Max(·)为最大值算子,⊙为Hadamard积算子,SSTM表示骨骼空时特征图,JMSM表示关节运动速度图,PSSTM为静态流softmax输出值,PJMSM为动态流softmax输出值,二者分别表示为: