1.一种基于多输出特征融合的BLSTM的语音情感识别方法,其特征是:包括以下步骤:S1.对语音情感数据库中的的语音样本进行预处理;
S2.提取常用的传统特征以及改进的新特征;
S3.对提取的特征进行BP算法特征优选;
S4.将提取好的优选特征随机选择65%的样本作为训练集,送入到多输出特征融合的BLSTM网络模型中进行训练,用Adam算法作为网络的优化器,获得优化后的网络模型,即三层六个输出特征融合的BLSTM网络模型;
S5.利用S4优化得到的三层六个输出特征融合的BLSTM网络模型,将剩下的35%的样本作为测试集,对其进行情感分类,对EMODB语音情感数据库中全部的情感样本进行分类,完成语音的情感识别。
2.根据权利要求1所述的语音情感识别方法,其特征是:S1中,所述语音情感数据库为EMODB库,含有中性、生气、害怕、高兴、悲伤、厌恶和无聊7种情感。
3.根据权利要求1所述的语音情感识别方法,其特征是:S1中,所述预处理包括分帧加窗端点检测。
4.根据权利要求1所述的语音情感识别方法,其特征是:S2中,所述提取常用的传统特征,包括基音频率、能量、过零率、频率微扰、梅尔频域倒谱系数、Hurst指数、线性预测系数、感觉加权线性预测8类特征。
5.根据权利要求1所述的语音情感识别方法,其特征是:S2中,所述提取改进的新特征,包括基频梅尔频域倒谱系数,能量梅尔频域倒谱系数,倒谱梅尔频域倒谱系数,Teager梅尔频域倒谱系数4类改进特征。
6.根据权利要求1所述的语音情感识别方法,其特征是:S2中,对提取的特征分别计算其平均值、中位值、标准差、最小值、最大值、方差、变化率、一阶差分的统计量。
7.根据权利要求1所述的语音情感识别方法,其特征是:S3中,所述对提取的特征进行BP特征优选,优选出最能体现情感信息的组合特征,对优选的组合特征提取70帧/段的段特征,帧长256,帧移128;同时为了获得更好的并行加速,将语音样本段数归一化到5段,语音样本长的截断,不够的用零填充,将111维70帧/段的段特征作为优选特征送入到多输出特征融合的BLSTM网络模型。
8.根据权利要求1所述的语音情感识别方法,其特征是:S4中,所述三层六个输出特征融合的BLSTM网络模型的输入向量为提取好的优选特征,创新性的提出将优选特征作为输入的语音情感识别系统框架结构。
9.根据权利要求1所述的语音情感识别方法,其特征是:S4中,三层六个输出特征融合的BLSTM网络模型,多输出特征融合指的是从ResNet网络的跨层连接出发,考虑到BLSTM不同层都有输出,如果结合在一起,特征能更充分的利用;把BLSTM不同层的输出经过全连接层变换,得到的各个层的特征相加,实现当前特征与浅层特征的融合,再对融合得到的特征分类,得到最终的预测结果;BLSTM的每一层特征相加融合,是用低层网络信息补充高层网络信息。
10.根据权利要求1所述的语音情感识别方法,其特征是:S4中,所述三层六个输出特征融合的BLSTM网络模型的构建,设一个情感语音提取到的帧特征为X = (x1,x2,...,xT) ,i = 1,2,...,T,将X中每一个向量依次输入到LSTM网络中,对于时刻t的输入xt,经过LSTM神经网络得到ht的计算过程包括如下步骤:S4.1构建遗忘门(Foget Gate)
遗忘门计算哪些信息需要忘记,遗忘门的计算公式为:
公式中中括号表示两个向量相连合并, 是遗忘门的权重矩阵,为sigmoid函数,为遗忘门的偏置项,xt为t时刻的输入,ht-1为上一时刻的隐层状态;
S4.2构建输入门(Input Gate)
输入门计算哪些信息需要保存到隐层神经元状态单元中,输入门的计算公式为:S4.3隐层细胞状态更新(Cell State Update)
当前时刻的单元状态由遗忘门输入和上一时刻状态的积加上输入门两部分的积,即:S4.4构建输出门(Output Gate)
输出门计算需要输出的信息,输出门的计算公式为:
其中, 和 为LSTM网络输出门连接权值与偏置,it,ct,ot,ft为输入门,细胞存储单元,输出门和遗忘门的激活输出向量。