1.一种基于脑机生成对抗的情绪识别方法,其特征在于:步骤1、获取数据,采集不同情绪类别的图像模态数据,并针对所有图像模态数据采集人观察图像后获得脑电模态数据;
步骤2、针对图像模态数据提取图像视觉特征
步骤3、针对脑电模态数据提取脑电情感特征
步骤4、利用脑机协同智能方法构建图像特征到脑电特征的映射函数;
将图像视觉特征 和脑电情感特征 表示为源域X和目标域Y;图像与脑电特征相互转化的生成器标记为G和F,映射函数标记为G:X→Y和F:Y→X,判别器标记为DX和DY;
利用映射函数G:X→Y和F:Y→X将图像视觉特征{x}和脑电情感特征{y}分别转化为虚拟脑电情感特征{G(x)}和虚拟图像视觉特征{F(y)};利用判别器DX识别图像视觉特征{x}和虚拟图像视觉特征{F(y)}的一致性;利用判别器DY识别脑电情感特征{y}和虚拟脑电情感特征{G(x)}的一致性;调整生成器G和F,使得{x}与{F(y)}一致,使得{y}与{G(x)}一致;
根据{x}与{F(y)}、{y}与{G(x)}调整生成器G和F的任务通过对抗误差实现;
调整映射函数G:X→Y的过程具体为:
其中,LGAN(G,DY,X,Y)、为对抗误差任务; 分别表示在脑电情感特征分布、图像视觉特征分布上执行任务;G用于最小化目标任务,同时,DY用于最大化目标任务;
调整映射函数F:Y→X的过程与调整映射函数G:X→Y的过程一致;
利用映射函数G:X→Y和F:Y→X将虚拟图像视觉特征{F(y)}和虚拟脑电情感特征{G(x)}分别转化为重构脑电情感特征G(F(y))和重构图像视觉特征F(G(x));利用判别器DX对{x}和F(G(x))进行一致性判别;利用判别器DY对{y}和G(F(y))进行一致性判别;调整生成器G和F,使得{x}与F(G(x))一致,使得{y}与G(F(y))一致;
根据{x}与F(G(x))、{y}与G(F(y))调整生成器G和F的任务通过循环一致性误差实现,具体为:其中,Lcyc(G,F)是循环一致性误差任务; 分别表示在脑电情感特征分布、图像视觉特征分布上执行任务;||·||是L1‑Norm函数;该式用于最小化目标Lcyc(G,F);
判别器DY、DX均利用判别误差来构造;判别器DY的构造如下:
其中,LDis(DY,Y)为判别误差任务,log是对数函数, 表示在脑电情感特征分布上执行任务;DY的目标是最小化要实现的整体任务是:
L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)其中,λ用于控制对抗任务和循环一致性任务这两个任务的相对重要性比例;
步骤5、情绪识别
在利用经过步骤4得到的调整生成器G,对被识别图像中提取出的图像视觉特征进行转化,并将转化所得的特征输入线性分类层,将输出信息与情绪类别标签进行对比,得到最终的被识别图像对应的情绪类别。
2.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法,其特征在于:步骤2中通过图像视觉特征提取器GX提取特征;图像视觉特征提取器GX由三个卷积模块组成,每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
3.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法,其特征在于:步骤3中通过脑电情感特征提取器GY提取特征;脑电情感特征提取器GY由三个卷积模块构成,分别为普通卷积模块、深度卷积模块和可分离卷积模块。
4.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法,其特征在于:生成器G和F采用改进的Unet网络架构,其包括下采样卷积模块、全连接层模块、上采样卷积模块、普通卷积层;下采样卷积模块对应编码过程,全连接层模块对于特征转换过程,上采样卷积模块对应解码过程;下采样卷积模块通过卷积和下采样降低图像尺寸,用于特征提取;全连接层模块线性连接特征层,用于特征转换;上采样卷积模块通过concat函数的方式将解码阶段获得的特征层同编码阶段获得到同尺寸大小的特征层结合进行卷积,用于特征重构;
普通卷积层作为网络的最后一层,采用1×1卷积核大小,用于获得与网络输入同样尺寸大小的网络输出。
5.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法,其特征在于:所述的判别器DY、DX均由四个卷积模块和一个分类模块组成;四个卷积模块分别由卷积层、归一化层、非线性激活层组成,分类模块由卷积层、线性连接层组成。