1.一种基于神经网络的人脸复杂表情识别方法,其步骤是:A、输入训练集中的人脸图像,先在每个人脸图像上运行面部组件特征检测器CBD,通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像;
B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴巴的中间部分,并测量之间的七个特征检测距离;
C、将步骤A所生成的四个子图像归一化为0和1之间的范围,并作为通用反向传播神经网络分类器的输入特征,对通用反向传播神经网络分类器进行训练学习和分类,其具体步骤为:(1)对应于每个图像的眼睛、鼻子和嘴巴的子图像的灰度级别分别存储在四个矩阵中,四个矩阵成形为一个向量;
(2)将所有训练样本的所有输入向量组合成训练矩阵X1,然后进行归一化;
(3)测试集中的每个人都有一个数字来识别他的身份,网络的期望输出Y1将是以二进制格式保存相应的输入图像;
(4)X1和Y1送入通用反向传播神经网络进行训练;
D、将步骤B所生成的七个特征检测距离归一化为0和1之间的范围,并作为通用反向传播神经网络分类器的输入特征,对通用反向传播神经网络分类器进行训练学习和分类,其具体步骤为:(1)将每个图像的七个特征测量距离存储在一个向量中;
(2)将所有训练样本的所有输入向量组合成训练矩阵X2,然后进行归一化;
(3)输出Y2为相应输入图像的二进制数;
(4)将X2和Y2送入通用反向传播神经网络进行训练;
E、在步骤C和步骤D训练结束后,分别对两个通用反向传播神经网络计算系统的均方误差MSE,具有较少整体MSE的网络作为主要分类器,另一个作为辅助分类器;
F、输入待检测人脸图像,按照步骤A对待检测人脸图像中的眼睛、鼻子和嘴巴四个特征提取其子图像,对四个子图像的相应灰度级别进行提取,得到四个矩阵,将四个矩阵归一化和重构成长度为1425的行向量,结合输入向量形成的矩阵被馈送到主要分类器进行识别,如主要分类器未识别,用辅助分类器识别;
G、根据步骤B取得待检测人脸图像中七个特征检测距离,七个特征检测距离存储在一个向量中,结合输入向量形成的矩阵被馈送到辅助分类器进行识别。
2.根据权利要求1所述的基于神经网络的人脸复杂表情识别方法,其特征是:所述通用反向传播神经网络包括使用输入事件来计算网络期望输出 的前向传播和使用Werbos链规则来对有序导数进行计算并调整权重W的反向传播。
3.根据权利要求2所述的基于神经网络的人脸复杂表情识别方法,其特征是:所述前向传播过程为:第一个神经元是输入神经元,其输出为xi=Xi,其中X是输入向量,i∈1...m.令neti表示第i个神经元的输出,可以表示为:这是所有先前神经元输出的饱和线性组合。可得:
输出的饱和值S(neti)的计算公式为:
最后,我们可以使用以下方法获得每个输出神经元的网络期望输出。
4.根据权利要求2所述的基于神经网络的人脸复杂表情识别方法,其特征是:所述反向传播过程为:计算权重Wij以最小化训练集上的方差,对于给定的一组权重W,首先计算与每个正向通道相关联的总和方差(SSE)向量:其中t表示事件索引,T是事件的总数,Yi是输出神经元i的期望输出;
使用前缀符号"F_"表示SSE相对于冠"F_"的任何变量的有序导数,计算SSE的导数:应用方程(6),我们可以求出SSE对于Y的有序导数:对于隐藏的神经元,将下标t放在以下等式中,进一步简化:同时,
其中S′(x)是等式(2)中定义的S(x)的导数。
S′(x)=S(x)(1-T(x)) (10)通过方程(7)使网络向后运行,以计算SSE相对于网络权重的导数:最后,使用学习率β来调整网络权重:
在反向评估结束时,将使用以下函数来获取二进制输出:。
5.根据权利要求1所述的基于神经网络的人脸复杂表情识别方法,其特征是:所述七个特征检测距离为(1)两瞳孔之间的距离;(2)从左眼瞳孔到嘴中心的距离;(3)从右眼瞳孔到嘴中心的距离;(4)从左眼瞳孔到鼻尖的距离;(5)从右眼瞳孔到鼻尖的距离;(6)从两瞳孔之间的中点到鼻尖的距离;(7)从两瞳孔之间的中点到嘴的中心点的距离。
6.根据权利要求1所述的基于神经网络的人脸复杂表情识别方法,其特征是:所述训练集中的人脸图像来自日本ATR-JAFFE人脸表情数据库。