欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022110235192
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多特征融合和双流网络的微表情识别方法,其特征在于,所述方法包括:获取预设视频中微表情起始帧到结束帧的帧数据;

对所述帧数据进行峰值帧采集获得若干第一图像,对若干所述第一图像进行人脸裁剪获得若干第二图像;

对所述若干第二图像添加掩膜,获得若干第三图像;

对所述若干第三图像分别进行水平和垂直光流特征提取,获得若干第一水平光流特征图和若干第一垂直光流特征图;

利用面部动作算法对所述帧数据进行面部动作特征提取,对提取获得的面部动作特征进行归一化处理,获得若干第一面部动作特征图;

构建微表情识别网络,所述微表情识别网络包括输入层、第一网络通道、第二网络通道、融合层、分类层和输出层,所述输入层和所述输出层分别用于获得输入数据和输出分类结果,所述第一网络通道包括依次连接的子网络和第一全连接层,所述第一网络通道用于对第一输入数据进行处理获得第一处理结果;所述第二网络通道包括依次连接的第一卷积层、第一池化层、第二卷积层、第三卷积层、第二池化层、扁平化层和第二全连接层,所述第二网络通道用于对第二输入数据进行处理获得第二处理结果;所述融合层用于所述第一处理结果和所述第二处理结果进行拼接融合获得融合结果,并将融合结果输入第三全连接层处理后输入分类层进行分类处理;

利用所述若干第三图像、所述若干第一水平光流特征图、所述若干第一垂直光流特征图和所述若干第一面部动作特征图构建训练集,利用所述训练集训练所述微表情识别网络获得训练后的微表情识别网络,其中,训练微表情识别网络时,所述若干第三图像、所述若干第一水平光流特征图和所述若干第一垂直光流特征图输入所述第一网络通道,所述第一面部动作特征图输入所述第二网络通道;

获得待处理图像,将所述待处理图像输入训练后的微表情识别网络,获得所述待处理图像中的微表情识别结果。

2.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,所述子网络为残差网络。

3.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,利用裁剪框对所述第一图像进行人脸裁剪,在裁剪前,还包括对裁剪框的坐标进行归一化处理。

4.根据权利要求3所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,对裁剪框的坐标进行归一化处理,具体包括:累加帧数据中每个图像对应初始裁剪框的左上顶点坐标和宽度,获得累加结果;

基于所述累加结果分别计算左上顶点坐标和宽度的均值,获得第一均值和第二均值;

基于第一均值获得最终裁剪框的左上顶点坐标,基于第二均值获得最终裁剪框的宽度;

基于最终裁剪框的顶点坐标和宽度获得最终裁剪框。

5.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,掩膜添加方式为:选取预设视频中微表情的起始帧作为基线帧;

依次计算基线帧与基线帧的下一帧至峰值帧之间的各个像素值差值的绝对值,累加计算获得的绝对值获得总差值矩阵;

将所述总差值矩阵进行二值化处理获得二值化结果;

对所述二值化结果进行滤波处理,获得第一滤波结果;

将第一滤波结果中离散的微表情感兴趣区域进行融合获得融合结果;

对所述融合结果进行滤波处理,获得掩膜;

将掩膜与对应的原始图像进行融合获得掩膜后的图像。

6.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,光流特征提取方式为:将已添加掩膜的视频帧序列的第一帧作为基线帧;

通过基线帧对已添加掩膜的起始帧到结束帧依次计算光流信息,获得光流特征提取结果,其中,光流特征提取结果为二维矢量场,分别表示每个像素运动的水平和垂直分量。

7.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,所述对提取获得的面部动作特征进行归一化处理包括:将视频帧序列第一帧的面部动作特征作为基线面部动作特征;

将起始帧到结束帧的面部动作特征依次与基线帧的面部动作特征进行差值计算,得到归一化后的面部动作特征。

8.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,在获得第一图像前还包括样本扩充步骤,所述样本扩充步骤包括:对预设视频峰值帧的前后两帧进行采样;

对微表情分类中样本数量最少类别的峰值帧进行多倍扩充;

将微表情分类中非最少类别样本的峰值帧数量向最少类别扩充后的数量通过随机采样方式进行靠拢。

9.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,人脸裁剪方式为:计算获得裁剪框的顶点坐标和宽度;

基于裁剪框的顶点坐标和宽度获得裁剪框;

利用裁剪框对若干所述第一图像进行人脸裁剪获得若干第二图像。

10.根据权利要求9所述的基于多特征融合和双流网络的微表情识别方法,其特征在于,裁剪框的顶点坐标和宽度的计算方式为:计算出第一图像中人脸的左右内眼角坐标和左右眉尾坐标;

通过左右内眼角坐标计算出正方形裁剪框的中心坐标;

通过左右眉尾的横坐标之差计算出正方形裁剪框的宽度;

根据正方形裁剪框的中心坐标和宽度确定正方形裁剪框的左上顶点坐标。