1.一种人脸表情识别方法,其特征在于,所述人脸表情识别方法包括:第一步,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;
第二步,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别;
所述第一步包括将不同场景下采集的图片转化为统一的预训练场景,通过预训练的生成模型,根据深度图生成RGB图,实现不同场景数据统一成训练场景数据;具体包括:(1)选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型,pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像;
(2)用公开数据库Bosphorus中的图片作为预训练模型的数据来源;训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图;
所述第二步还包括:
(1)通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;
(2)神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息,得到描述眉、眼以及嘴部的4个特征图;
所述图像生成模型生成的RGB图,整个放入残差学习网络ResNet‑18训练,学习整张脸关于表情的特征信息;在通过ResNet‑18的第一层后,图像的通道数刚好是64,矩阵大小是
64×64,特征图为A;将得到的关于眉、眼以及嘴部的特征图 对应地叠加A上,实现在网络训练时加强眉、眼以及嘴部信息的学习。
2.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行如权利要求
1所述的人脸表情识别方法。
3.一种人脸表情识别系统,其特征在于,所述人脸表情识别系统包括:深度图转化模块,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;将不同场景下采集的图片转化为统一的预训练场景,通过预训练的生成模型,根据深度图生成RGB图,实现不同场景数据统一成训练场景数据;具体包括:(1)选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型,pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像;
(2)用公开数据库Bosphorus中的图片作为预训练模型的数据来源;训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图;
表情识别模块,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别;
(1)通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;
(2)神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息,得到描述眉、眼以及嘴部的4个特征图;
所述图像生成模型生成的RGB图,整个放入残差学习网络ResNet‑18训练,学习整张脸关于表情的特征信息;在通过ResNet‑18的第一层后,图像的通道数刚好是64,矩阵大小是
64×64,特征图为A;将得到的关于眉、眼以及嘴部的特征图 对应地叠加A上,实现在网络训练时加强眉、眼以及嘴部信息的学习。
4.一种终端,其特征在于,所述终端搭载如权利要求3所述的人脸表情识别系统。