欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019102565771
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于反馈卷积神经网络的面部表情识别方法,其特征在于,包括:人脸检测,采用MTCNN方法进行人脸检测;

人脸姿态矫正,利用仿射变换矩阵对检测到的人脸进行人脸姿态变换以进行矫正;

面部表情识别,通过训练好的包括基本卷积神经网络baseCNN和反馈层的反馈卷积神经网络进行矫正后面部表情特征的提取,获得面部表情的分类;所述面部表情的分类包括高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性;

所述baseCNN包括4个卷积模块、特征变换模块以和分类器;其中4个卷积模块用于从输入的表情图像中提取深度卷积特征;特征变换模块用于将第四个卷积模块输出的深度卷积特征变换成128维的特征向量,用来表征输入的表情图像;分类器用于根据128维的特征向量预测出所属的表情类别;

l

所述反馈层包括4个;每一个反馈层的输入都是一个(h,w,c)维的张量X ;其中,h、w和cl分别对应着高、宽和通道这三个维度,而l指代第l个反馈层;将反馈层的反馈状态g分解成空间反馈和通道反馈,如下其中, 和 分别代表空间反馈和通道反馈;

将空间反馈和通道反馈的结果执行张量相乘积后送入sigmoid函数进行归一化,作为反馈层的输出;

所述空间反馈的具体实现为:

使用一个5层子网络对空间反馈进行建模;所述子网络由一个包括全局平均层、三个卷积核大小为3×3步幅为2的卷积层和尺度调整层;所述全局平均层的计算公式如下:l

其中, 代表第l个反馈层中空间反馈部分的第1个中间结果; 代表X的第i个通道;i是一个临时变量,用作通道索引标号。

2.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法,其特征在于,所述仿射变换矩阵的定义如下:其中,θ表示左眼中心点到右眼中心点构成的向量与横轴之间的夹角,变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。

3.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法,其特征在于,所述人脸姿态矫正之后还包括:尺度变换,对每一幅人脸图像进行尺度变换,将其缩放到统一的尺度100*100*3;其中,

100为图像长或者宽,3代表RGB三个色彩通道。

4.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法,其特征在于,训练过程中,所述人脸姿态矫正之后还包括:数据扩充:在训练过程中将每一张图像都进行水平翻转并随机旋转‑5°至5°之间的某个角度;将数据集按照类别分成7份,然后随机选取一个类别并从中选择一幅图像重新生成数据集以得到类别均衡的数据集。

5.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法,其特征在于,所述通道反馈的具体实现为:使用一个三层网络来实现通道反馈,首先通过全局空间平均层执行挤压操作,将分布在各个空间位置的局部特征聚合,具体计算公式如下:l

其中, 代表第l个反馈层中通道反馈部分的第1个中间结果; 代表X的第(i,j)个空间位置随影的所有通道值组成的向量;

接着通过两个全连接层实现用于承载自顶向下的反馈信息,具体实现如下:其中, 代表第l个反馈层中通道反馈部分的第2个中间结果; 代表第l个反馈层中通道反馈部分的第3个中间结果;ReLU是一种神经元激活函数,其数学式为ReLU(·)=max(0,·),其中“·”代表输入; 和 分别代表两个全连接层的参数矩阵,r表示压缩率。