1.一种基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,包括训练阶段和识别阶段,其中,训练阶段包括以下步骤:S1、从人脸表情数据库中提取各个人物的表情建立成库,并对图像进行分类整合;S2、对人脸表情图像进行包括水平平移、垂直平移、翻转在内的预处理步骤;S3、将预处理过的图像分为训练样本和测试样本两部分,再将训练集和测试集分别转为LMDB格式;S4、用到的训练集对卷积神经网络和长短期记忆网络进行训练;
识别阶段包括以下步骤:S5、选取待识别的人脸表情图像;S6、对该待识别图像进行预处理;S7、通过步骤S4完成训练的卷积神经网络和LSTM对人脸表情图片进行识别,并输出识别结果。
2.根据权利要求1所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述步骤S1将面部表情分为高兴、惊讶、愤怒、悲伤、厌恶、恐惧、中性七大类。
3.根据权利要求1所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述S2采集若干表情图像,并通过颜色变换、去噪、降维操作,使原图片转换为256*256的黑白图片。
4.根据权利要求1所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述步骤S4使用卷积神经网络提取表情图片的空间特征,训练卷积神经网络具体步骤如下:建立双卷积CNN网络模型,网络层依次为2个卷积核为3*3的卷积层、最大池化层、2个卷积核为3*3的卷积层、1个最大池化层、1个5*5的卷积层、1个最大池化层,将经过预处理后的表情图片输入双卷积CNN中,提取表情图片的空间信息。
5.根据权利要求4所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述双卷积CNN网络模型学习率的初始值设定为0.001,采用“step”的策略,每训练100次,学习率减少0.0001,训练网络的最大迭代次数为2500次。
6.根据权利要求1所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述步骤S4训练LSTM网络并提取表情图片的时序信息,其计算过程如下:(1)当前时刻t,候选cell的值为 计算公式如下:
式中,xt为t时刻的输入数据,由双卷积CNN输出,ht-1为t-1时刻隐藏层的输出值wxc、whc分别为对应的权值,bc为偏置;
(2)输入门是决定让多少新的信息加入到cell状态中来,计算公式如下:it=σ(Wxixt+Whiht-1+bi)
式中,Wxi、Whi分别是对应的权值,bi是偏置量;
(3)遗忘门是决定cell的哪些信息是要去掉的,其计算公式如下:ft=σ(Wxfxt+Whfht-1+bf)
式中,Wxf、Whf分别是对应的权值,bf是偏置量;
(4)当前时刻t,cell的状态值ct,其计算公式如下:式中,⊙表示逐点相乘;
(5)输出门是决定cell的哪些部分要输出,其计算公式如下:ot=σ(Wxoxt+Whoht-1+bo)
式中,Wxo、Who分别是对应的权值,bo是偏置量。
(6)LSTM单元的输出:
ht=ot⊙tanh(ct)。
7.根据权利要求1所述的基于双卷积CNN和长短时记忆网络的表情识别方法,其特征在于,所述步骤S7通过已经完成训练的双卷积神经网络和长短期记忆网络对预处理过的图片进行识别,输出识别结果,以概率由高到低的方式呈现。