欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202011432845X
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人脸表情识别方法,其特征在于,所述人脸表情识别方法包括以下步骤:从人脸表情图像中选取训练数据集和待识别数据集;

构建基于残差神经网络的人脸表情识别模型;

基于残差神经网络的人脸表情识别模型包括:四层残差模块,分为:两层基础残差模块和两层瓶颈残差模块;

所述瓶颈残差模块的通道一,包括尺寸为1x1、3x3、1x1的卷积核,3x3的卷积核设置步距为2,用于缩放特征矩阵;

所述瓶颈残差模块的通道二,采用步距为2的平均池化层,用于缩放特征矩阵,再经过

1x1卷积核,并与所述瓶颈残差模块通道一的输出特征矩阵相加作为所述瓶颈残差模块的特征矩阵输出;

从所述训练数据集中选取部分人脸表情图像,输入所述人脸表情识别模型,进行迭代训练,获得训练后人脸表情识别模型;

从待识别数据集中选取部分人脸表情图像,输入所述训练后人脸表情识别模型,进行人脸表情识别,获得人脸表情分类结果。

2.如权利要求1所述的人脸表情识别方法,其特征在于,在所述从人脸表情图像中选取训练数据集和待识别数据集之前,还包括:选用Haar特征和Adaboost级联分类器的组合,筛掉人脸以外区域,获取人脸坐标,检测人脸关键点;

根据所述关键点对人脸区域进行截取,获得人脸区域图像;

对所述人脸区域图像进行亮度归一化和灰度归一化处理,获得人脸表情预处理图像。

3.如权利要求1所述的人脸表情识别方法,其特征在于,从所述训练数据集中选取部分人脸表情图像,输入所述人脸表情识别模型,进行迭代训练,获得训练后人脸表情识别模型,具体包括:对所述训练数据集进行数据增强处理,获得增强训练数据集;

对所述人脸表情识别模型进行权值初始化,获得初始化人脸表情识别模型;

通过所述增强训练数据集中的部分人脸表情图像对所述初始化人脸表情识别模型进行迭代训练;

当完成预先调整的迭代次数时,获得训练后人脸表情识别模型。

4.如权利要求3所述的人脸表情识别方法,其特征在于,所述迭代训练具体包括:输入所述增强训练数据集中的部分人脸表情图像到所述初始化人脸表情识别模型,经过三个3x3、步距为1卷积核进行初步的特征提取,获得初步特征;

所述初步特征通过批归一化层,获得正态分布特征矩阵;

所述正态分布特征矩阵进入Relu激活函数层激活并通过最大池化层采样,获得浅层特征图;

所述浅层特征图进入4层残差模块,获得表情特征图;

所述表情特征图进入全局平均池化层、全连接层向前传播,输出表情分类值;

根据所述输出表情分类值与真实表情分类值之间的误差,计算分类交叉熵损失函数;

根据所述分类交叉熵损失函数,利用随机梯度下降法优化网络,更新残差网络模型权重参数,得到并保存分类效果最佳的模型权重参数。

5.如权利要求4所述的人脸表情识别方法,其特征在于,所述基础残差模块和所述瓶颈残差模块呈交替堆叠结构。

6.如权利要求5所述的人脸表情识别方法,其特征在于,所述基础残差模块的通道一,包括两个尺寸为3x3、步距为1卷积核,批归一化层,Relu激活函数层;

所述基础残差模块的通道二,输入即为输出,不对输入特征矩阵做任何处理;

输入特征矩阵经过所述基础残差模块通道一处理后与基础残差模块通道二输出的原始输入矩阵相加作为所述基础残差模块的特征矩阵输出;

所述浅层特征图按照基础残差模块、瓶颈残差模块、基础残差模块、瓶颈残差模块的顺序,依次进入,进行特征提取,获得所述表情特征图。

7.如权利要求1所述的人脸表情识别方法,其特征在于,对所述训练数据集进行数据增强处理,具体包括:随机缩放、翻转、平移、旋转。

8.一种人脸表情识别装置,其特征在于,所述人脸表情识别装置包括:数据读取模块、人脸截取模块、数据预处理模块、特征提取模块和表情分类模块;

所述数据读取模块,用于读取人脸表情图像,获取人脸关键点;

所述人脸截取模块,用于根据所述人脸关键点截取人脸区域,获得人脸区域图像;

所述数据预处理模块,用于对所述人脸区域图像进行亮度归一化和灰度归一化处理,获得预处理后人脸表情图像;

所述特征提取模块,用于通过多层的卷积层和残差模块对所述预处理后人脸表情图像进行特征提取,获得人脸表情图像特征;

具体用于构建基于残差神经网络的人脸表情识别模型;

基于残差神经网络的人脸表情识别模型包括:四层残差模块,分为:两层基础残差模块和两层瓶颈残差模块;

所述瓶颈残差模块的通道一,包括尺寸为1x1、3x3、1x1的卷积核,3x3的卷积核设置步距为2,用于缩放特征矩阵;

所述瓶颈残差模块的通道二,采用步距为2的平均池化层,用于缩放特征矩阵,再经过

1x1卷积核,并与所述瓶颈残差模块通道一的输出特征矩阵相加作为所述瓶颈残差模块的特征矩阵输出;

所述表情分类模块,用于将所述人脸表情图像特征输出到全连接层进行表情分类,获得人脸表情分类结果。

9.一种人脸表情识别设备,其特征在于,所述人脸表情识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸表情识别程序,所述人脸表情识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的人脸表情识别方法的步骤。

10.一种存储介质,其特征在于,所述存储介质上存储有人脸表情识别程序,所述人脸表情识别程序被处理器执行时实现如权利要求1至7中任一项所述的人脸表情识别方法的步骤。