欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018105992957
申请人: 常州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双通道卷积神经网络对人脸表情识别的方法,其特征在于,包括以下步骤:

1):进行数据预处理,减少背景信息干扰;

2):搭建一个双通道卷积神经网络自动提取有效特征,并以加权的策略将特征融合;

3):利用softmax进行表情分类。

2.根据权利要求1所述的一种基于双通道卷积神经网络对人脸表情识别的方法,其特征在于,所述步骤1)具体包括:(1):人脸检测

采用Viola-Jones算法进行人脸检测,从而减少人脸图像中与表情分析无关的背景信息,增强特征描述子对不同面部表情的表达能力;

(2):旋转校正

针对检测到的人脸图像中可能存在的角度差异,利用旋转变化矩阵进行校正,定义如下: 其中,Lx、Ly表示原始坐标,Lx’、Ly’表示变换后的坐标,θ表示旋转角度(通过测量两眼中心向量与水平方向的夹角得到);

(3):降采样

降采样是为了减小待处理图片尺寸,降低算法复杂度,并保证输入数据尺度一致。本发明采用线性插值方法进行降采样,同时,为避免过分降采样导致人脸LBP图像信息丢失,将降采样后的图像尺寸定为64*64(单位:像素);

(4):数据样本扩充

由于目前人脸表情基准数据库中的样本量无法满足要求,因此本发明对原始数据进行旋转与平移产生合成数据,并添加高斯白噪声,从而人为地扩充数据样本;

(5):人脸LBP图像计算

局部二值模式(Local Binary Pattern,LBP)是一种常用的图像局部纹理描述方法,它通过对比局部范围内的中心点与邻域点的像素值,得到关于该区域的二进制编码。得到某像素对应的LBP编码后,可以计算该像素的LBP值,计算方法如下: 其中,S()表示符号函数,N表示邻域点的数目,gc与gn分别表示中心点与邻域点的像素值。通过计算图像每一点的LBP值,可以得到对应的LBP图像。

3.根据权利要求1所述的一种基于双通道卷积神经网络对人脸表情识别的方法,其特征在于,所述步骤2)具体为:(1):搭建双通道特征提取网络(Binary Channel-Feature Extraction Network,BC-FEN),以获取不同通道人脸图像与表情变化相关的特征。其中单通道特征提取网络包括一组输入层,两组卷积-下采样层(convolution-down sampling,C-S)以及一组特征向量层(feature vector,fv)。

(2):对于不同通道的输入图像,采用相同的网络结构,但是针对不同通道图像的特点调整网络参数。对于人脸灰度图像(描述全局信息),输入层大小为32×32像素,两组隐含层中卷积层与下采样层C1,S1,C2,S2大小分别为28×28,14×14,12×12,6×6,输出特征向量维度为500;对于对应的LBP图像(描述细节信息),输入层大小为32×32像素,两组隐层的卷积层和下采样层C1,S1,C2,S2大小分别为30×30,16×16,14×14,7×7,输出特征向量维度同样为500。

(3):对于任意通道,特征向量层与两个下采样层S2及S1同时相连,保证所提取特征具有多尺度特性。在此过程中,为了防止过拟合,在下采样层-特征向量层之间进行“dropout”操作(参数为0.5)。

(4):对fv1、fv2进行加权融合得到向量fw={p1,p2,…,pm},其中第i个成分pi通过如下方式计算得到:pi=α·si+(1-α)·li,其中,权重α用来衡量人脸灰度图像与对应的LBP图像对最终融合特征的贡献,α的取值通过实验方式确定。对于融合后的特征向量fw,将其输出到两个级联的全连接层fc1与fc2,其中fc1维度为300,fc2维度为100。

4.根据权利要求1所述的一种基于双通道卷积神经网络对人脸表情识别的方法,其特征在于,所述步骤3)具体包括:(1):softmax函数可用于计算多类别分类问题的类别概率分布,假设对于给定输入x:其中,输入x与输出y都是K维向量, 分母起

到正则化作用,保证输出向量的每个成分在[0,1]范围内。

(2)作为神经网络的输出,softmax函数中的值可用K个神经元来表示,即对给定输入x,每种分类的概率y可表示为 其中,P(y=k|x)表示输入x属于第k类的概率。

(3)对于softmax函数的求解,本发明采用交叉熵作为损失函数,定义如下:其中,zi表示输入样本的真实值,yi表示softmax输出值。采用基于梯度下降优化的反推算法进行最小化,从而得到网络输出。