欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020113966237
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于N170的情绪识别系统,包括信号采集模块、信号处理模块、分支卷积神经网络BCNN模型训练模块、识别模块和反馈模块,其特征在于,所述信号采集模块用于采集用户的脑电数据;

信号处理模块用于对采集的脑电数据进行预处理;

分支卷积神经网络BCNN模型训练模块用于训练分支卷积神经网络BCNN模型;

分支卷积神经网络BCNN模型的结构包括:输入层、时间卷积层、并行卷积分支层、全连接层和输出层;

所述输入层用于输入预处理后的用户脑电数据;

所述时间卷积层的卷积核个数为16个,大小为1×15;

所述并行卷积分支层包括空间卷积分支和时间卷积分支,空间卷积分支对脑电信号进行空间上的卷积,时间卷积分支对脑电信号进行时间上的卷积;

所述全连接层对两个并行卷积分支层的两个输出拉平拼接;

所述输出层对提取到的特征进行分类并输出;

空间卷积分支包括两个卷积层,第一个为深度卷积,卷积核大小为C×1,其中C为通道数,后面跟一个1×3的最大池化层;第二个为分离卷积,卷积核个数为32个,卷积核大小为1×10,后面跟一个1×3的最大池化层;

所述时间卷积分支包含三个相同的块,每个块由深度卷积、普通卷积和最大池化层组成;深度卷积大小分别为:1×10,1×5和1×5;普通卷积的个数分别为16,32和32,大小分别为1×10,1×5和1×5,最大池化大小均为1×3;

识别模块用于对实时采集的脑电数据进行分类,并根据分类结果识别用户当前的情绪状态;

反馈模块根据用户当前的情绪状态进行相应的情绪调节动作。

2.根据权利要求1所述的一种基于N170的情绪识别系统,其特征在于,信号处理模块对采集的用户脑电数据进行预处理包括:坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正处理。

3.一种基于N170的情绪识别方法,包括离线训练阶段和在线识别阶段,其特征在于,包括以下步骤:离线训练阶段:

S1、使用情绪面孔图片对用户进行刺激,使用户识别面孔情绪并产生N170,通过信号采集模块采集用户脑电数据,通过信号处理模块对采集的用户脑电数据进行预处理,得到预处理后的用户脑电数据,同时统计用户直接反馈的情绪面孔图片对应的面孔情绪识别结果;

S2、将预处理后的用户脑电数据和用户反馈的面孔情绪识别结果输入分支卷积神经网络BCNN模型进行训练,分支卷积神经网络BCNN模型输出用户脑电数据的分类,根据分类结果将脑电数据类别与情绪面孔图片一一对应,使脑电数据类别与情绪面孔图片产生固定的对应关系,当对应关系不再变化时,得到训练好的分支卷积神经网络BCNN模型;

在线识别阶段:

在用户进行面孔情绪识别时,实时采集用户脑电数据并通过信号处理模块进行预处理后,输入训练好的分支卷积神经网络BCNN模型,分支卷积神经网络BCNN模型对用户的脑电数据进行分类,输出脑电数据的分类结果,根据脑电数据的分类结果,从脑电数据类别与情绪面孔图片的固定对应关系中识别用户当前的情绪状态,反馈模块根据用户当前的情绪状态进行相应的情绪调节动作,若检测出用户当前情绪为负情绪,则通过反馈模块播放正情绪音乐进行相应的情绪调节分支卷积神经网络BCNN模型的结构包括:输入层、时间卷积层、并行卷积分支层、全连接层和输出层;

所述输入层用于输入预处理后的用户脑电数据;

所述时间卷积层的卷积核个数为16个,大小为1×15;

所述并行卷积分支层包括空间卷积分支和时间卷积分支,空间卷积分支对脑电信号进行空间上的卷积,时间卷积分支对脑电信号进行时间上的卷积;

所述全连接层对两个并行卷积分支层的两个输出拉平拼接;

所述输出层对提取到的特征进行分类并输出;

空间卷积分支包括两个卷积层,第一个为深度卷积,卷积核大小为C×1,其中C为通道数,后面跟一个1×3的最大池化层;第二个为分离卷积,卷积核个数为32个,卷积核大小为1×10,后面跟一个1×3的最大池化层;

所述时间卷积分支包含三个相同的块,每个块由深度卷积、普通卷积和最大池化层组成;深度卷积大小分别为:1×10,1×5和1×5;普通卷积的个数分别为16,32和32,大小分别为1×10,1×5和1×5,最大池化大小均为1×3。

4.根据权利要求3所述的一种基于N170的情绪识别方法,其特征在于,分支卷积神经网络BCNN模型中的处理过程包括:S01、将预处理后的用户脑电数据通过输入层输入分支卷积神经网络BCNN模型中,首先通过时间卷积层的2D卷积滤波器捕获用户脑电数据的时间信息,得到特征图;

S02、时间卷积层输出的特征图经过空间卷积分支进行空间特征提取,得到EEG信号的空间特征向量;

S03、时间卷积层输出的特征图经过时间卷积分支进行时间特征提取,得到EEG信号的时间特征向量;

S04、将空间卷积分支和时间卷积分支得到的空间特征向量和时间特征向量进行拼接,得到EEG信号时间空间特征向量;

S05、将该EEG信号时间空间特征向量送入到全连接层中,该全连接层后跟一个激活函数为simgoid的神经元,对EEG信号时间空间特征向量进行重组并预测类别。

5.根据权利要求3所述的一种基于N170的情绪识别方法,其特征在于,分支卷积神经网络BCNN模型的训练过程包括:S21、网络进行权值初始化;

S22、输入数据经过输入层、中间层和输出层的向前传播得到输出值;

S23、求出网络的输出值与目标值之间的误差,BCNN模型采用交叉熵来计算误差,计算公式如下:其中,Loss表示网络的输出值与目标值之间的误差值,y为真实标签,为网络的预测概率,即网络的输出值;

S24、比较:当误差大于期望阈值时,将误差传回网络中进行权值更新,得到更新后的BCNN模型,返回执行步骤S22;当误差等于或小于期望阈值时,结束训练,根据求得误差进行权值更新,得到训练好的分支卷积神经网络BCNN模型。