欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020103204148
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-07-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人脸表情识别方法,其特征在于,所述人脸表情识别方法包括:第一步,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;

第二步,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别;

所述第一步包括将不同场景下采集的图片转化为统一的预训练场景,通过预训练的生成模型,根据深度图生成RGB图,实现不同场景数据统一成训练场景数据;具体包括:(1)选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型,pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像;

(2)用公开数据库Bosphorus中的图片作为预训练模型的数据来源;训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图;

所述第二步还包括:

(1)通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;

(2)神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息,得到描述眉、眼以及嘴部的4个特征图;

所述图像生成模型生成的RGB图,整个放入残差学习网络ResNet‑18训练,学习整张脸关于表情的特征信息;在通过ResNet‑18的第一层后,图像的通道数刚好是64,矩阵大小是

64×64,特征图为A;将得到的关于眉、眼以及嘴部的特征图 对应地叠加A上,实现在网络训练时加强眉、眼以及嘴部信息的学习。

2.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行如权利要求

1所述的人脸表情识别方法。

3.一种人脸表情识别系统,其特征在于,所述人脸表情识别系统包括:深度图转化模块,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;将不同场景下采集的图片转化为统一的预训练场景,通过预训练的生成模型,根据深度图生成RGB图,实现不同场景数据统一成训练场景数据;具体包括:(1)选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型,pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像;

(2)用公开数据库Bosphorus中的图片作为预训练模型的数据来源;训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图;

表情识别模块,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别;

(1)通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;

(2)神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息,得到描述眉、眼以及嘴部的4个特征图;

所述图像生成模型生成的RGB图,整个放入残差学习网络ResNet‑18训练,学习整张脸关于表情的特征信息;在通过ResNet‑18的第一层后,图像的通道数刚好是64,矩阵大小是

64×64,特征图为A;将得到的关于眉、眼以及嘴部的特征图 对应地叠加A上,实现在网络训练时加强眉、眼以及嘴部信息的学习。

4.一种终端,其特征在于,所述终端搭载如权利要求3所述的人脸表情识别系统。