1.一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,具体步骤如下:步骤1、采集图像,确定训练样本集和测试样本集;
步骤2、提取训练样本集中每个训练样本的人脸区域并统一尺寸,得到训练人脸图像集;
步骤3、分别采集训练人脸图像集中每个人脸图像的面部特征点,筛选出情感相关部位特征点,确定面部情感区域;
步骤4、提取所有面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值,完成情感特征的表达;
步骤5、将步骤4中提取的MU-CLBP特征值送入SVR训练,获得SVR情感模型;
步骤6、按照步骤2-4的具体步骤获取测试样本集中所有测试样本MU-CLBP特征值,并将测试样本MU-CLBP特征值送入步骤5中得到的SVR情感模型,得到连续维度的arousal和valence预测值。
2.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤2中人脸区域提取采用Viola-Jones人脸检测算法。
3.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤3中采集人脸图像的面部特征点时采用基于回归树集合的人脸特征点检测算法。
4.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤3中的面部情感区域定义为:在训练人脸图像集中的每个人脸图像上选取n个特征点,定义每一特征点为一个中心像素点,在每个中心像素点邻域选取N×N大小的区域,将每个人脸图像上的n个N×N大小区域定义为人脸图像的面部情感区域。
5.根据权利要求4所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤4中面部情感区域的MU-CLBP特征提取过程具体为:步骤4.1、针对面部情感区域的每个中心像素点均选取m组不同尺度参数,提取不同尺度参数下每个中心像素点对应的U-CLBP特征值;
步骤4.2、将面部情感区域中相同尺度参数下的所有U-CLBP特征进行拼接,得到m个尺度参数的U-CLBP特征值;
步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图,最终将m个U-CLBP特征值的直方图级联形成MU-CLBP特征值,即面部情感区域的MU-CLBP特征值。
6.根据权利要求5所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,一组所述尺度参数包括邻域采样点的采样半径和总的邻域采样点个数,m的个数不小于3。
7.根据权利要求5或6所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤4.1中心像素点对应的U-CLBP特征提取步骤为:步骤4.1.1、定义中心像素点为(x,y),其像素值为g(x,y),尺度参数为(R,P),计算该尺度参数(R,P)下中心像素点(x,y)周围的邻域采样点(xj,yj)的位置,得到邻域采样点(xj,yj)的像素值f(xj,yj);
其中,邻域采样点(xj,yj)的位置计算公式如下;
式(1)中,R为邻域采样点的采样半径,P为总的邻域采样点个数,P不小于1,(xj,yj)为中心像素点周围任意一个邻域采样点j的位置,1≤j≤P,f(xj,yj)为采样点j的像素值;
步骤4.1.2、由步骤4.1.1得到P个邻域采样点的像素值,将中心像素点像素值g(x,y)作为阈值,对中心像素点的P个邻域采样点进行判别,得到P位0/1二进制值,具体判别方式如下:式(2)中,(xj,yj)为中心像素点周围任意一个邻域采样点j的位置,1≤j≤P,f(xj,yj)为采样点j的像素值;
步骤4.1.3、将步骤4.1.2中判别后得到的P位0/1二进制值按顺时针顺序拼接,得到该中心像素点(x,y)的长度为P的二进制码,定义为Cp;
步骤4.1.4、采用“统一模式”方式对二进制码Cp进行转换,得到中心像素点(x,y)对应的U-CLBP特征值,计算公式如下:式(3)中,P为总的邻域采样点个数,U(Cp)表示二进制码Cp中0/1跳变次数。
8.根据权利要求7所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤4.1.4对二进制码Cp进行转换的具体过程如下:保留二进制码中0/1跳变次数不大于两次的二进制码,将其转换为对应的十进制数值;将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值。
9.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法,其特征在于,所述步骤5中SVR训练采用的回归器模型函数定义如下式:约束条件:
*
其中,x,xi为输入特征,αi,αi 为拉格朗日乘子,a代表输入特征数目,C为正则化系数,用来平衡模型复杂度与误差损失之间的关系,b阈值项,K(x,xi)为核函数项,式(4)中的核函数选用高斯核函数,定义式如下:式(5)中,γ为高斯核函数的宽度参数,控制函数的径向运用范围,x,xi为输入特征。