欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019103625854
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度学习先验的人脸表情识别方法,其特征在于,具体按照以下步骤实施:步骤1:使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测;

步骤2:对步骤1中检测到的人脸图像I进行关键点定位;

步骤3:根据步骤2中定位之后的关键点计算人脸旋转角度θ,并根据旋转角度θ对人脸图像I进行逆向旋转,得到人脸正面图像I1;

步骤4:对步骤3得到的人脸正面图像I1进行二次检测,得到人脸左上角和右下角的坐标,并根据坐标对人脸正面图像I1进行剪切,得到人脸图像I2,并保存人脸图像I2;

步骤5:重复步骤1‑4得到数据集E,将数据集E进行深度网络训练,得到能够准确预测人脸面部动作单元识别网络;

步骤6:将步骤5得到的人脸面部动作单元识别网络作为输出值,使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。

2.根据权利要求1所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤2关键点为5个关键点,分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or。

3.根据权利要求2所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤3的人脸旋转角度θ具体计算过程如下:其中,(x11,y11),(x12,y12),(x21,y21),(x22,y22)分别表示El、Er、Ol、Or的坐标。

4.根据权利要求1所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤5深度网络训练的具体过程如下:步骤5.1:从数据集中读取若干幅图像记为Ins,将Ins中的每幅图像重置成大小为224*

224得到图像集Ins1,并将网络中所有参数进行随机初始化;

步骤5.2:对于Ins1中所有图像进行卷积与最大池化处理,获得处理之后的特征图像A62;

步骤5.3:将5.2中得到的特征图像A62重置为25088×1的特征序列N7,使用维度为

25088×2048的权重矩阵W7和维度为2048×1的偏置矩阵b7分别与特征序列N7计算可得维度为2048×1的特征序列N8,特征序列N8通过LeakyRelu激活函数得到特征矩阵A8,维度为

2048×28的使用权重矩阵W8和维度为28×1的偏置矩阵b8分别与特征矩阵A8作运算可得到维度为28×1的特征矩阵N9,使用sigmoid函数激活特征矩阵N9得到网络输出A9,此时,A9表示人脸面部动作单元识别网络的对标签;

其中N9、N8计算公式为:

T

Q=(w*Q′)+b

其中,w为权重矩阵的转置,b表示偏置矩阵,Q网络下一层的输入,Q′为网络上一层的输入,T为网络个数;

sigmoid计算公式为:

其中Aj表示输出A9的第j个元素,nk表示N9的第k个元素;

步骤5.4:使用多标签交叉信息熵作为损失函数,并通过批处理梯度下降法最优化步骤

5.3得到的人脸面部动作单元识别网络对标签,获得人脸面部动作单元识别网络。

5.根据权利要求4所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤5.2的卷积过程如下:步骤5.2.1:使用32个大小为3行3列的卷积核W1对Ins1进行步长为1的卷积操作,得到特征图Z1,使用LeakyRelu函数激活Z1,得到结果A1,其中卷积的公式如下:其中i=1,...,m,j=1,...,n,表示图像像素下标,k=1,...,s,表示第k个卷积核,f(x,y)表示x,y处的像素值,wk表示卷积核,Zk为第k个卷积核卷积操作得到的特征图;

LeakyRelu函数公式为:

其中α取0.001,x为特征图Z1中的任一个单元的值,A为特征图Z1经过激活函数的输出。

6.根据权利要求5所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤5.2的最大池化过程如下:步骤5.2.2:将5.1.1中得到的A1进行最大池化操作,选取池化过滤大小为2*2,步长为

2,得到操作后结果为P1,最大池化公式为:

其中r和c为池化过滤的行和列的长度,i′,j′为对应池化后的结果P中的下标,i,j指池化前的特征图的下标;

步骤5.2.3:将步骤5.2.2中得到的P1分别使用如下结构做处理:对P1经过1次卷积和1次最大池化操作作为输入,再进行3次卷积和1次最大池化操作,接着进行3次卷积和1次最大池化操作,后进行5次卷积和1次最大池化操作,最后进行2次卷积操作得到特征图A62。

7.根据权利要求1所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述步骤6的识别具体过程如下:通过步骤5中得到的人脸面部动作单元识别网络作为输出值和表情先验人脸面部动作单元序列,计算可得是否包含面部表情,使用如下公式计算是否包含人脸基本表情:其中,pc表示人脸面部动作单元识别网络输出值,λc表示表情先验人脸面部动作单元序列,Ec=1,表示包含d类表情,反之没有包含。

8.根据权利要求7所述的基于深度学习先验的人脸表情识别方法,其特征在于,所述d类表情包括高兴、悲伤、惊讶、恐惧、愤怒、厌恶。