1.基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：

S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；

S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；

S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1，并根据初步情感状态对Z1直接赋值；

S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；

S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；

S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，所述情感信息数据库存放有多组积极、中性和消极三种情感状态的标准的左眼/右眼、左眉毛/右眉毛和嘴部参考面部表情特征向量，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。

2.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从面部表情图像中提取面部表情特征向量的具体步骤为：S2a.1、读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；

S2a.2、通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像，将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；

S2a.3、在面部表情形状模型中按照左眼/左眉毛，右眼/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；

S2a.4、针对每一个特征候选区域，采用差分图像法提取特征向量；通过将上一步处理后图像中的所有图像序列与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。

3.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从眼动信息中提取眼动特征向量的具体步骤为：S2b.1、将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；

S2b.2、将眼动信息按照眼动轨迹绘制成眼球轨迹图，并存储眼球轨迹图；

S2b.3、根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并存储眼动热点图。

4.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S3的具体步骤为：S3.1、预先收集多组标准的参考面部表情特征，每组参考面部表情特征包括左眼/右眼，左眉毛/右眉毛和嘴5种；

S3.2、步骤S2中从面部表情图像中提取的面部表情特征向量是按照上一步中的5种类别进行提取的；

S3.3、以步骤S3.1中的5种参考面部表情特征为基准，对步骤S3.2中的面部表情特征进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1，并根据初步情感状态对Z1直接赋值，若初步情感状态为积极则Z1＝1，若初步情感状态为中性则Z1＝0，若初步情感状态为消极则Z1＝-1。

5.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S5的具体步骤为：设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i ≥ 1；将X和Y作为输入，通过SVR得到输出f(x)；输入量描述为线性关系描述为f(x)＝+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，并且有最小误差 且受到实际与预期目标间最大偏差+b-yj≤ε,j≥1,ε≥0的约束；为了消除异常样本的影响引入松弛因子ξj,ξj*和一个参数C从而有最小误* *差 且受yj--b≤ε+ξj ,+b-yj≤ε+ξj,j≥1,ε,ξj,ξj ≥0的约束并且引入拉格朗日函数；通过计算最终得到f(x)的回归函数 其中αj*，αj是拉格朗日乘数，0≤αj*,αj≤C且αj*,αj≥0。

6.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S6中的融合比例为w1:w2,w1,w2均为变量，具体关系为：0≤w1,w2≤1,Z＝w1Z1+w2Z2且w1+w2＝1。

7.基于面部表情和眼球动作的双模态情感识别系统，其特征在于，包括以下模块：

采集模块，用于在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；

特征向量提取模块，用于从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；

情感定性分析模块，用于对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；

按时间匹配并存储模块，用于将面部表情特征向量和眼动特征向量按时间进行匹配并存储；

融合、分类模块，用于提取已匹配的面部表情特征向量和眼动特征向量，并利用SVR对其进行融合及分类等处理，得到分类后的情感特征向量；

最终情感状态确认模块，用于将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。

8.根据权利要求7所述的基于面部表情和眼球动作的双模态情感识别系统，其特征在于，所述特征向量提取模块包括面部表情特征向量提取模块和眼动特征向量提取模块，所述面部表情特征向量提取模块包括以下单元：标记点设置单元，用于读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点，标记点对齐单元，用于通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；

特征候选区域划分单元，用于在面部表情形状模型按照左眼/左眉毛，右眼/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；

信息提取单元，用于针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列，与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。

9.根据权利要求8所述的基于面部表情和眼球动作的双模态情感识别系统，其特征在于，所述眼动特征向量提取模块具体包括以下单元：眼动信息分类单元，用于将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；

眼球轨迹图生成单元，用于将眼动信息按照眼动轨迹绘制成眼球轨迹图，并进行存储；

眼动热点图生成单元，用于根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并进行存储。

10.根据权利要求7所述的基于面部表情和眼球动作的双模态情感识别系统，其特征在于，所述融合、分类模块用于通过SVR，设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1；将X和Y作为输入，通过SVR得到输出f(x)；输入量描述为 线性关系描述为f(x)＝+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，并且有最小误差 且受到实际与预期目标间最大偏差+b-yj≤ε,j≥1,ε≥0的约束；为了消除异常样本的影响引入松弛因子ξj,ξj*和一个参数C，从而有最小误差 且受yj--b≤ε+ξj*,+b-yj≤ε+ξj,j≥1,ε,ξj,ξj*≥ 0的约束，并且引入拉格朗日函数；通过计算最终得到f(x)的回归函数其中αj*,αj是拉格朗日乘数，0≤αj*,αj≤C且αj*,αj≥0。