1.一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；

步骤2、针对图像模态数据提取图像模态初级表征；针对脑电模态数据提取脑电模态初级表征；

步骤3、构建特征提取模型

将图像模态初级表征和脑电模态初级表征分别作为特征X和特征Y；构建私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)；针对特征X和特征Y，使用私有信息编码函数Ep、公共信息编码函数Ec学习隐藏的模态公共信息 模态私有信息模态公共信息 模态私有信息 公共信息编

c

码函数Ec在两种模态中共享参数θ，私有信息编码函数Ep在两种模态中分配单独的参数采用连接函数将 形成图像模态联合向量hX,将 、 形成EEG模态联合向量hY,  ； ；

将最终的hX、hY输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务；预测任务由函数r＝G(h)完成，rX＝GX(hX)，rX是对hX的预测结果；

调整公共信息编码函数Ec和私有信息编码函数Ep，使得特征X对应的模态公共信息 和特征Y对应的模态公共信息 的空间分布相互靠近，整体误差L最小化；L＝Ltask+αLsim+βLdiff；其中，Ltask为任务误差；Lsim为相似性误差；Ldiff为差异性误差；α、β是决定每个正则化组件对整体误差L贡献的相互作用权值；

步骤4、情绪识别

利用私有信息编码函数Ep、公共信息编码函数Ec，分别对被识别图像中提取出的图像模态初级表征进行提取；所得的两个向量通过连接函数进行融合，得到融合向量；融合向量输入线性分类层，将线性分类层输出的信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。

2.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤

3中所述的相似性误差Lsim使用中心矩差度量来实现最小化；相似性误差Lsim的表达式为：；

其中，CMDK为中心矩差正则化器；中心矩差正则化器CMDK被定义为CMD度量的经验估计；

；

k

其中， 是样本X的经验期望向量，Ck(X)＝E((x‑E(X)))是样本X的所有k阶样本中心矩向量；K是确定中心矩数目界限的参数。

3.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤

3中所述的差异性误差Ldiff计算为：

；

其中， 是弗罗比尼乌斯范数； 分别由每个向量表示。

4.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤

3中所述的任务误差Ltask通过交叉熵损失表达。

5.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：所述的私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)均使用全连接神经层实现。

6.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤

2中通过图像模态初级表征提取器GX提取特征；图像模态初级表征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。

7.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤

2中通过脑电模态初级表征提取器GY提取特征；脑电模态初级表征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。