1.基于一对多支持向量机的VR用户触觉体验的情绪识别方法,其特征在于,虚拟现实系统VR包括场景计算机以及与其通讯连接的触觉模拟和反馈装置,所述触觉模拟和反馈装置佩戴在用户肢体上,它包括微处理器以及分别与其连接的皮肤触觉模拟模块、生理信号模块;
皮肤触觉模拟模块根据场景和用户的肢体位置,对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力,模拟出用户触摸场景中物体的触感;
生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器;
所述方法包括以下步骤:
步骤1:场景计算机通过显示终端向用户展示虚拟场景,用户佩戴触觉模拟和反馈装置与场景计算机进行交互;
步骤2:场景计算机捕捉用户在虚拟场景中的触摸行为;
步骤3:根据用户的触摸对象,场景计算机控制触觉模拟和反馈装置,对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力,使用户产生触觉体验;
步骤4:触觉模拟和反馈装置的生理信号模块采集用户的生理信号;
步骤5:根据实时采集的用户的生理信号,判断用户的情绪;
步骤5.1:采集不同用户不同情绪下的脑电、肌电、血压信号,提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量,得到用户的生理信号特征向量组,并人工标记每个试次的生理信号特征向量的情绪标签;
步骤5.2:初始化融合系数矩阵,对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合,得到融合特征向量矩阵,将融合系数矩阵的特征值作为粒子群的粒子,利用粒子群优化算法对融合系数矩阵进行优化,使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应,得到初次优化的融合系数矩阵;
步骤5.3:利用融合系数矩阵,对步骤5.1采集的用户生理信号特征进行融合,得到每个试次的融合特征向量矩阵,并结合人工对其标记的情绪标签,构建训练数据集;
步骤5.4:对训练数据集采用一对多支持向量机进行训练,计算适应度,更新融合系数,达到预定适应度后停止训练,得到多个带情绪标签的训练网络模型;
步骤5.5:从实时采集的用户的生理信号中提取特征向量组,利用融合系数矩阵得到融合特征矩阵,利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类,分类结果与情绪标签进行匹配,将匹配程度最好的情绪标签作为用户的情绪判断结果。
2.根据权利要求1所述的VR用户触觉体验的情绪识别方法,其特征在于,步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量,共空间模式算法将脑电信号的协方差矩阵对角化,提取用户的脑电信号的二分类特征;
其具体过程如下:
设E为预处理后的某个试次的脑电信号矩阵,维数为N×T,N表示脑电数据通道的数目,T表示通道的采样率;
则脑电信号矩阵E的协方差矩阵R为:
T T T
式中E是E的转置矩阵;trace(EE)为矩阵EE的迹;
利用式(1)计算得到所有试次的第一类脑电信号的平均协方差同理,计算得到所有试次的第二类脑电信号的平均协方差求取平均协方差矩阵 之和,得到混合空间协方差
对 进行特征值分解,
式中U为特征向量矩阵,λ为特征值构成的对角阵;
将特征值进行降序排列,白化矩阵P如下:
对混合空间协方差 进行白化,
式中I为单位矩阵;
分别对第一类、第二类脑电信号的平均协方差 进行白化变换,式中S1、S2分别表示白化后的第一类、第二类脑电信号的协方差矩阵;
S1和S2有相同的特征向量,经过降序排列,S1和S2的特征值大小顺序相反,S1的最大特征值对应S2的最小特征值;
若满足
T
S1=Bλ1B (6)
则:
B表示S1、S2的特征矩阵;
计算得到空间滤波器W:
T
W=BP (8)
将脑电信号矩阵EN×T通过空间滤波器WN×N投影,得到新的脑电信号矩阵ZN×T:ZN×T=WN×NEN×T (9)选取矩阵ZN×T的前m行以及后m行共2m行信号提取最终特征值fp,p=1,2,…,2m,根据式(10)计算得到的特征值对脑电信号进行二分类;
对脑电信号进行n分类时,n>2,将n分类转化为n(n‑1)/2个二分类任务进行两两运算即实现n分类。
3.根据权利要求1所述的VR用户触觉体验的情绪识别方法,其特征在于,所述一对多支持向量机,依次将某类别的样本与其余样本构造决策平面,即利用k个样本构造出k个分类平面,从而实现样本的多分类,k表示分类的数量;
一对多支持向量机进行分类训练时,首先将训练样本中第j类样本作为正类,j=1,2,
3,…,k,将其余k‑1类样本看作负类;其次,对正类、负类样本使用支持向量机算法进行二分类;
该过程具体包括:
①构造约束条件下的目标函数;
②求解其拉格朗日函数的鞍点,即利用对偶理论将目标函数转换为对偶问题;
③求解转换函数的最优解;
④得出此二类样本的决策函数f(x);
⑤重复上述步骤可得出k个决策函数fj(x),j=1,2,3,…,k;
⑥将某样本分别带入k个决策函数并求值,即可通过结果中的最大值确定该样本的分类。
4.根据权利要求1所述的VR用户触觉体验的情绪识别方法,其特征在于,所述皮肤触觉模拟模块(203)包括穿戴在用户肢体上的纤维布(2031)以及纤维布孔中布置的触觉片(2036),触觉片(2036)外部设有与纤维布固定连接的限位环(2032),触觉片(2036)四周多个连接点与沿限位环(2032)均匀分布的纤维绳(2033)的末端连接,纤维绳(2033)远离触觉片端与细管中的微型活塞(2034)固定连接,细管(2035)与液压机构连接,细管(2035)中充满液压流体,在液压机构的驱动下,触觉片(2036)四周不同方向的细管中液压流体具有不同的压强,使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力,触觉片(2036)在不同方向纤维绳的不同大小的拉力的作用下,对与其接触的用户体皮肤产生压力和剪切力。
5.根据权利要求4所述的VR用户触觉体验的情绪识别方法,其特征在于,所述述触觉模拟和反馈装置(2)还包括微型液压模块(204),细管(2035)与微型液压模块的细管接头(2041)连接。
6.根据权利要求1‑5任意一项所述的VR用户触觉体验的情绪识别方法,其特征在于,所述触觉模拟和反馈装置(2)还包括与微处理器连接的陀螺仪传感器(207)。