欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020114701159
申请人: 江苏师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于transformer模型编码器的语音情感特征提取方法,其特征在于:首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征,然后利用多层transformer模型编码器对低级语音情感特征进一步学习;多层transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器,即一组具有带通滤波器的参数化sinc函数,利用sincnet滤波器完成语音原始波形信号的低级特征提取工作,并使网络更好的捕捉重要的窄带情感特征;

多层transformer模型编码器,由sincnet滤波器与transformer模型编码器构建的一种融合上下文特征的神经网络结构,包括输入层、中间层以及输出层,中间层包括顺序连接的sincnet滤波器、transformer模型编码器结构以及池化层,常规transformer模型编码器部分包括多头注意力子层、全连接层以及前馈神经网络。

2.根据权利要求1所述的基于transformer模型编码器的语音情感特征提取方法,其特征在于具体步骤如下:S1:将输入的语音数据预处理后转换为原始语音波形;

S2:在常规transformer模型编码器的前添加一层sincnet滤波器,构建出一个可融合全局上下文信息特征的改进transformer模型编码器;

S3:将原始语音波形与sincnet进行卷积计算,捕捉出语音信号中包含的低级情感信息特征h[n];

S4:使用transformer模型编码器对低级情感信息特征h[n]再次进行处理,得到更深层次包含全局上下文信息的帧级情感特征y[n]S5:将具有全局信息的帧级情感特征y[n]输入池化层,通过池化并与经验权重向量相乘,使每一次迭代中的帧级特征合并,最终合并为一个话语级情感特征向量;

S6:利用softmax分类器对话语级情感特征进行分类,从而获得当前的输入语音数据的情感。

3.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法,其特征在于将语音数据转换成原始语音波形的步骤如下:首先对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n],每个语音波形的采样率设置为16KHZ,16bit量化,同时使用窗长和偏移为250ms和10ms的Hamming窗口,再将语音信号转变为原始语音波形图。

4.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法,其特征在于步骤S2具体为:将语音波形信号x[n]和SincNet层滤波器组函数g[n,θ]之间执行卷积计算,构建出包含低级情感信息特征h[n],其映射关系式为:h[n]=x[n]*g[n,θ],其中θ为可学习参数,g为滤波器组函数;

所述sincnet层是一种基于参数化sinc函数,由矩形带通滤波器组成,矩形带通滤波器能够用两个具有可学习截止频率的低通滤波器来表示,具体公式如下:g[n,f1,f2]=2f2sinc(2πf2n)‑2f1sinc(2πf1n),其中,f1,f2表示低截止频率和高截止频率,低截止频率和高截止频率是从数据中学习到的滤波器的唯一参数。

5.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法,其特征在于步骤S4的具体为:S41:将S3得到的包含浅层情感信息的特征向量输入到transformer模型编码器的多头注意力子层,得到输入语音的帧级注意力特征向量;

多头注意力子层先将输入向量映射到不同的子空间中,再分别在所有子空间上做点乘运算,计算出注意力向量,最后把所有子空间计算得到的注意力向量拼接起来,并映射到原输入空间中,得到最终的注意力向量作为输出;从而获取到全局的上下文信息,避免传统循环神经网络因梯度消失或梯度爆炸而导致的信息消失问题;具体公式如下:o

MutiHead(Q,K,V=Concat(head1,…,headh)WQ K V

其中,headi=Attention(QWi ,KWi ,VWi)

其中MutiHead(Q,K,V是Multi‑HeadAttention层的输出结果;Concat是矩阵拼接函数;

o Q K V

headi是第i个head的输出结果,h是head的个数;W 是输出的映射参数矩阵;Wi 、Wi、Wi分别为Q、K、V在第i个head上的映射参数矩阵;

每一个head均采用scaleddot‑productattention,具体计算公式如下其中Attention(Q,K,V是scaleddot‑productattention的输出,softmax(x是归一化指T数函数;Wrl是序列相对位置关系权重参数;K为矩阵K的转置; 为比例因子;

S42:将S41得到的输入语音的帧级注意力特征向量输入到编码器的前向反馈子层,得到输入语音的上下文特征向量;前向反馈子层由两层前馈神经网络组成,是对多头注意力子层的输出进行两次线性变换和一次RELU激活,具体公式如下:FFN(x)=max(0,xW1+b1)W2+b2

多头注意力子层和前向反馈子层都包含一个残差连接结构,将子层输出与子层输入相加再做规范化作为子层最终输出,每个子层最后的输出公式为:output=LayerNorm(input+subLayer(input)),其中,LayerNorm为层规范化操作,input为子层输入,subLayer为子层相应的计算公式,即上述MutiHead或FFN公式;

S43:重复S41与S42的步骤6次,得到输入语音的最终上下文特征向量。

6.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法,其特征在于所述S6具体为:将话语级情感特征向量输入到softmax分类中,使用softmax分类器来预测标签情感类别,将输出映射到(0,1)区间内,可以对应情感类别的概率;最终取概率最大的维度所对应的情感类别作为最终输出结果,从而输出与整段语音相对应的情感类别,即模型对预测的情感进行分类。