1.一种基于骨骼的动作识别的深度集成方法,其特征在于:所述方法包括以下步骤:
步骤一:建立递归神经网络,使用递归神经网络对顺序问题进行建模;
步骤二:使用两个空间距离图对空间网进行建模,以捕获用于动作识别任务的空间动力学;
步骤三:使用时域中的距离图对时域网进行建模以捕获时域动态和进行动作识别任务;
步骤四:使用多层堆叠的LSTM网络作为BaseNet,BaseNet由三个双向LSTM层组成,在两个Bi‑LSTM层之间引入了dropout层,以减轻训练BaseNet时出现的过拟合问题将完全连接的层和softmax层紧随其后,用于操作分类任务;
步骤五:将使用BodyNet和TNet功能介绍,为HNet的Hybrid Net建模,从BodyNet和TNet特征中选择截然不同的强大的区分性时间特征,以有效地构建HNet。
2.如权利要求1所述的一种基于骨骼的动作识别的深度集成方法,其特征在于:所述步骤一中递归神经网络包括LSTM单位,LSTM单位由输入门(It),输入节点(Gt),忘记门(Ft)和输出门(Ot),所述输入门(It)的方程为It=σ(WIXXt+WIHHt‑1+bI);忘记门(Ft)的方程为Ft=σ(WFXXt+WFHHt‑1+bF);输出门(Ot)的方程为Ot=σ(WOXXt+WOHHt‑1+bO);输入节点(Gt)的方程为Gt=Tanh(WGXXt+WGHHt‑1+bG),LSTM单位的组合公式为Ct=FtCt‑1+ItGt和Ht=OtTanh(Ct),其中所有Ws和bs是各个门的权重矩阵和偏差。
3.如权利要求1所述的一种基于骨骼的动作识别的深度集成方法,其特征在于:所述步骤二中在用于动作识别任务的成对距离特征的基础上,构造了四个关节距离图,一个在3D空间中,另外三个在2D正交空间中,并且每个动作都由两个主体执行,以便处理包含人与人之间交互作用的动作,在一个动作序列中,每个帧中都有两个与主要和辅助对象有关的骨骼,一个骨架序列AS包含M个骨架帧,每个帧包含2N个关节,其中前N个关节与主要对象有关,其余N个关节用于辅助对象,AS={Fr1,......FrM},其中Fr代表框架,th th
表示j 帧的i 个关节的3D坐标(x,y,z);第一组空间特征是根据髋关节定义的,并命名为SF1xyz,SF1xy,SF1yz和SF1xz;第二组空间特征是根据肩部中心定义的,并命名为SF2xyz,SF2xy,SF2yz和SF2xz,所述空间特征的建模公式包括其中,f表示帧号,Jxyz表示关节的(x,y,z)坐标; Jxy,Jyz和Jxz分别指关节的(x,y),(y,z),(x,z)坐标; Dn()代表欧几里德n空间中的两个点之间的距离; 假设r=(r1,r2,...,rn)和s=(s1,s2,...,sn)是欧几里德n空间中的两个点,则Dn()的计算公式为:
4.如权利要求1所述的一种基于骨骼的动作识别的深度集成方法,其特征在于:所述步骤三中构造四个时间特征,称为TFxyz,TFxy,TFyz和TFxz,所述四个时间特征的公式为:
5.如权利要求1所述的一种基于骨骼的动作识别的深度集成方法,其特征在于:所述步骤四中使用BodyNet来从整个序列的时间域中的细粒度身体各部位提取各种特征,对于每个帧Fr,与主要被摄体有关的骨骼关节被聚为五组,分别对应于五个身体部位,并且辅助对象的关节也被分组。