1.嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,包括以下步骤:输入带有表情标签的人脸图像集合作为数据集,并对人脸图像数据集进行预处理以及数据增强;
将预处理后的人脸表情图像输入到轻量级特征提取网络中,提取出人脸表情图像的深层特征图;
将所述深层特征图作为二阶有效通道注意力模块的输入,统计深层表情特征的二阶信息并捕获跨通道特征间的相互依赖关系,进而学习到高阶表情信息的特征表示;
使用交叉熵损失和中心损失联合优化网络模型,其进行迭代训练至收敛,保存训练好的卷积神经网络模型;
将待测的人脸表情图像输入到训练好的网络模型中,分类器根据人脸表情特征输出最终预测表情类别。
2.根据权利要求1所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,轻量级特征提取网络包括Stem模块和Slight‑OSA模块,将数据输入到Stem模块,Stem模块的输出与3个Slight‑OSA模块通过池化操作进行级联,最后一个Slight‑OSA模块输出经过池化后的数据即为轻量级特征提取网络提取的特征。
3.根据权利要求2所述的基于二阶有效通道注意力网络的无约束人脸表情识别方法,其特征在于,Stem模块包括两个3×3卷积操作;Slight‑OSA模块将输入通过4个卷积层N1进行级联,并将输入与四个卷积层N1的输出数据进行拼接,拼接的数据通过卷积层N2提取特征,作为该Slight‑OSA模块的输出。
4.根据权利要求3所述的基于二阶有效通道注意力网络的无约束人脸表情识别方法,其特征在于,卷积层N1依次包括3×3卷积操作、批归一化操作和非线性修正激活,卷积层N2依次包括1×1卷积操作、批归一化操作和非线性修正激活。
5.根据权利要求1所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,二阶有效通道注意力模块包括协方差池化层和有效通道注意力,协方差池化层用于根据深层特征图计算出通道描述符向量,有效通道注意力用于根据通道描述符向量计算出其注意力权重向量,并将得到的注意力权重向量与深层特征图相乘得到注意力特征图。
6.根据权利要求4所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,构建协方差池化层的过程包括以下步骤:将深层特征图压缩成一个m×c的特征矩阵,并通过计算该特征矩阵的协方差矩阵;
对协方差矩阵进行归一化操作;
将得到的归一化协方差矩阵通过全局协方差池化计算得出通道描述符向量;
其中,c为通道数;m=wh,w和h分别为深层特征图的宽和高。
7.根据权利要求5所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,对协方差矩阵进行归一化操作包括:通过矩阵的特征值分解公式来求解协方差矩阵的平方根;
采用迭代矩阵平方根归一化方法加速协方差矩阵平方根的计算;
设置迭代次数,将得到的协方差矩阵作为初始值,利用牛顿‑舒尔茨迭代公式对协方差矩阵的平方根进行迭代更新,直到协方差矩阵的特征值收敛;
将收敛的协方差矩阵除以该矩阵的迹进行进一步收敛处理;
对协方差矩阵进行补偿,得到归一化协方差矩阵。
8.根据权利要求4所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,根据通道描述符向量计算出其注意力权重向量包括:其中,f(·)是sigmoid函数, 表示卷积核为k的一维卷积,M表示注意力权重向量;z为通道描述符向量。
9.根据权利要求1所述的嵌入高阶信息的轻量级无约束人脸表情识别方法,其特征在于,使用交叉熵损失和中心损失联合优化网络模型,即利用交叉熵损失和中心损失,通过反向传播最小化损失函数,对神经网络进行迭代训练,神经网络的联合损失函数表示为:L=LS+λLC;
其中,L为神经网络的联合损失函数;LC为神经网络的中心损失,xi第i个样本的特征向量表示; 为第i个样本所属类别yi的类中心特征向量;参与训练的样本数量; 为求矩阵的二范数;LS为神经网络的交叉熵损失。
10.嵌入高阶信息的轻量级无约束人脸表情识别系统,其特征在于,包括图像获取模块、数据预处理模块、数据增强模块、神经网络模块以及输出模块,其中:图像获取模块用于输入数据集,获取待测人脸表情图像;
数据预处理模块用于对人脸图像信息或待测人脸图像进行人脸检测和人脸对齐操作;
数据增强模块用于按照随机裁剪、随机水平翻转以及在(‑10°,10°)范围内旋转操作对训练集进行扩展;
神经网络模块包括轻量级特征提取网络、二阶有效通道注意力模块形成的卷积神经网络,其中轻量级特征提取网络用于提取输入特征的深层特征,二阶有效通道注意力模块用于根据深层特征获取注意力特征。