1.一种基于时空注意力机制的手语识别方法,其特征在于,包括以下步骤:S1数据预处理,对手语视频进行采样,并对采样后的图片进行图像尺度归一化处理;
S2构建残差3D卷积神经网络,提取输入视频的短期的时空特征,在残差3D卷积神经网络中引入空间注意力模块;所述空间注意力模块为:S21:输入的特征图x首先经过两层3D卷积网络得到特征图Hx:Hx=x*Wh其中,*表示三维卷积操作,Wh是一个3维张量,表示待学习的权重参数;
S22:Hx分别通过掩膜分支和残差分支被变换到两个不同的特征空间Fx和Gx;掩膜分支通过下采样和上采样处理使高低维度的特征更好地组合在一起,残差分支的目的是提取更深层次的时空特征;对两个特征空间进行组合变换,再经过归一化处理生成空间注意力图αx:其中,为哈达玛积,也就是逐元素相乘,σ表示Softmax激活函数,Fx和Gx分别是掩膜分支和残差分支的输出;
S23:注意力层输出为 为了更好地利用前层的信息,最终的输出为:Ox=x+Sx;
S3构建卷积长短时记忆网络,将短期的时空特征经过卷积长短时记忆网络解析后提取出长时间的时空特征,在卷积长短时记忆网络中引入时间注意力模块,生成视频帧的时间注意力权重,结合不同视频帧的时间注意力生成视频的特征表示;
S4经过Softmax分类器,输出手语分类类别。
2.根据权利要求1所述一种基于时空注意力机制的手语识别方法,其特征在于:所述数据预处理包括将每一个手语视频采样为32帧;帧数大于32的视频,将多余的帧数平均分配到首尾两端进行删除,保留中间的关键帧;而对于帧数小于32的视频为了保证数据的时序性,则重复最后一帧。
3.根据权利要求1所述一种基于时空注意力机制的手语识别方法,其特征在于:所述残差3D卷积神经网络中具有4个残差块;每个残差块包含六层3D卷积层,一层下采样层和一层上采样层,前两层3D卷积层提取的特征经过捷径连接与最后一层卷积层的输出进行相加。
4.根据权利要求3所述一种基于时空注意力机制的手语识别方法,其特征在于:所述下采样层采用最大值池化,所述上采样层采用双线性插值。
5.根据权利要求1所述一种基于时空注意力机制的手语识别方法,其特征在于:所述两个分支其中掩膜分支需要经过下采样和上采样处理,残差分支经过四层3D卷积处理。
6.根据权利要求1所述一种基于时空注意力机制的手语识别方法,其特征在于:步骤S3所述卷积长短时记忆网络为:令空间注意力网络的输出特征为{x1,x2,...,xt,...},则每个卷积长短时记忆单元按照如下方式更新参数:it=σ(wxi*xt+whi*ht‑1+bi)
ft=σ(wxf*xt+whf*ht‑1+bf)
ot=σ(wxo*xt+who*ht‑1+bo)
其中,it,ot,ft分别表示步长t时的输入门、输出门、遗忘门的向量;xt是数据的输入;ct为存储细胞状态;ht表示t时刻卷积长短时记忆单元的输出;w~,b~分别表示相应的系数矩阵和偏置向量;*表示卷积计算,代表哈达玛积。
7.根据权利要求1所述一种基于时空注意力机制的手语识别方法,其特征在于:所述引入时间注意力模块的步骤包括:S31:计算在每个时间步长t时的时间注意力权重β={β1,β2,...,βt,...},如下公式计算:βt=ReLU(Wg*ht)
其中,ht是一个3维张量,表示在时间步长t时的隐藏状态;Wg表示尺寸为1×1的卷积核;
使用的ReLU激活函数定义为max(0,x);
S32:βt通过Softmax函数得到归一化的权重:
其中,T表示序列的长度;
S33:为了获得视频级的分类结果c,计算所有时间步长内的隐藏状态和时间注意力的权重和:
8.根据权利要求1‑7任一项所述一种基于时空注意力机制的手语识别方法,其特征在于:还包括模型训练及测试过程,其中根据损失函数,动量随机梯度下降算法更新网络。
9.根据权利要求8所述一种基于时空注意力机制的手语识别方法,其特征在于:所述损失函数如下式所示:
其中,第一项为交叉熵函数,y=(y1,y2,...,yc)表示手语的真实类别,表示预测的向量;wj表示网络参数的设置,λ1是权值衰减;λ2是正则化系数。