欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020107131466
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-06-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于轻量级网络的深度二值特征人脸表情识别方法,其特征在于,包括以下步骤:

101、对每张输入图像Xl进行基于像素梯度的LBP局部二值模式动态半径采样,l∈imagesum,imagesum为图像的总数量,基于像素梯度即采用Sobel算子提取梯度信息,使得每个像素动态获取不同的LBP采样半径区域;

102、在步骤101的基础上,将采样半径内的邻域像素提取Huffman编码,将Huffman编码对应像素邻域位进行赋值权重,得到具有Huffman权重的LBP权重图谱,同时利用像素梯度信息得到LBP特征值图谱;

103、利用ResNet网络层残差特性和LBCNN网络的精简特性,构建二值残差卷积神经网络框架BRCNN,在步骤102的基础上,将原始图像、原始图像对应的LBP权重图谱、原始图像对应的LBP特征值图谱这三个特征作为BRCNN网络的输入,三个特征通过每一层网络后进行特征融合,残差结构使得每层网络执行特征融合操作,得到的特征信息通过全连接层后,得到网络输出的分类结果;统计网络输出的分类概率,求最大概率值对应的分类结果,得到最终的识别结果。

2.根据权利要求1所述的一种基于轻量级网络的深度二值特征人脸表情识别方法,其特征在于,所述步骤101基于像素梯度的LBP动态半径采样步骤具体包括:A1、利用Sobel算子提取每张图像的像素梯度值,将得到的梯度值组成梯度矩阵,并与每一张图像的像素点一一对应;

B1、利用混合高斯模型GMM对步骤A1中得到的梯度矩阵进行动态分类,根据像素平均梯度值进行划分;

C1、利用B1中得到的a类的梯度集,其中a={a1,a2,a3...an},n为a的个数,每个类集合对应LBP的一个半径采样区域R,其中R={R1,R2,R3...Rn},n与a的个数一一对应,从而得到每个梯度值一一对应的像素点的LBP采样半径。

3.根据权利要求2所述的一种基于轻量级网络的深度二值特征人脸表情识别方法,其特征在于,所述步骤B1根据像素平均梯度值进行划分,具体包括:眼角、鼻子和嘴巴在内的图像纹理区域变化丰富的地方像素梯度变化频率快,覆盖区域较窄;脸颊、额头和下额在内的图像纹理区域变化平滑的地方像素梯度变化频率慢,覆盖区域较宽;因此,将矩阵内的梯度值按照设定阈值β动态分为a类,其中阈值β的求取方法为:其中 是梯度矩阵的均值,x为梯度矩阵的实值,通过判定实值与均值之间的关系,使得大梯度值对应GMM模型提取纹理丰富区域的关键特征,小梯度值对应GMM模型提取纹理平滑区域的关键特征。

4.根据权利要求3所述的一种基于轻量级网络的深度二值特征人脸表情识别方法,其特征在于,所述步骤102中具有Huffman权重的LBP权重图谱和LBP特征值图谱,其求取方法为:A2、设每张图像像素处于中心像素时的灰度值为gc,采样半径由步骤C1得到,为R,因此每一个gc都对应一个采样半径Rc,其中Rc∈R,分别求取每个中心像素周围像素gp与中心像素gc的像素差值:gp‑gc(p=0,1,...,t‑1)                     (2)其中t表示中心像素在采样半径Rc下的周围像素采样个数;p表示周围采样像素个数;

B2、根据周围像素gp与中心像素gc的像素差值可得到正负值序列,将正值和负值序列的绝对值序列进行Huffman编码,其中正负值序列保持和原采样长度一致,采样长度为采样个数t,正值序列中负值用0值占位替代,反之负值序列同样处理:+ ‑

其中t表示周围像素gp的个数,po ,ne表示正负值序列, 分别表示正值序列、负值序列中对应周围像素gp与中心像素gc的像素差为正或为负值的差值,序列长度也为t,和原采样长度保持一致;

C2、通过计算正负值序列中每个中心像素与邻域像素差值的Huffman编码,记编码长度为length(v),求取正负值对比度权值,并得到合并的正负权值序列:+ ‑

其中 序列长度相等, 表示正值序列po和负值序列ne中对应的

+ ‑

值,序列长度由t决定, 分别表示正值序列po 和负值序列ne对应求得的带权正值序列和带权负值序列,带权正值序列中负值用0值占位替代,反之带权负值序列同样处理,因此合并的正负带权值序列可由公式(6)得出:D2、根据公式(7),求取具有Huffman权重的LBP权重图谱:

其中Rc为中心像素的采样半径,ceil()表示对中心像素的Huffman权重基于采样半径求取均值,Rc和wsum不同使得每个中心像素的LBP权重都不同;

E2、通过步骤A1,利用Sobel算子计算得到输入图像的像素梯度值集合为G,G={g1,g2,...,gn},n为图像像素点的数量,可求得平均梯度:利用像素点梯度与平均梯度的关系,将中心像素进行二值化:

其中Gi∈G,t为中心像素的采样个数,通过将邻域像素梯度值与中心像素的梯度值的对比,设计出二值化函数;基于梯度的LBP特征值图谱由公式(10)表示为:其中R为采样半径,T为采样个数,T=t,通过对中心像素求得LBP权重wsum()和二值s(),得到LBP特征值图谱。

5.根据权利要求4所述的一种基于轻量级网络的深度二值特征人脸表情识别方法,其特征在于,所述步骤103中BRCNN网络框架的设计和表情识别步骤如下:A3、利用ResNet网络的结构框架,将整个网络框架拆分单层分布的结构,在单层结构中,将传统的卷积操作替换为非训练的二值卷积操作,得到BDM二值差分矩阵;

B3、将BDM二值差分矩阵通过1×1可学习权重的卷积操作,得到具有二值属性的卷积特征矩阵映射,即BFM二值特征矩阵;

C3、同时将原始图像也作为网络层的输入,进行传统的卷积操作,使得到的卷积输出Conv_out与BFM二值特征矩阵达到相同的通道数,然后将Conv_out与BFM作为双特征输入到下一层网络中;

D3、利用每层双特征卷积的模式,得到 其中n为网络层

数,m为第i层重复卷积叠加运算的次数;

E3、通过n层网络得到的 双特征信息在全连接层进行级联,形成新的

特征NF,将全连接特征NF通过Softmax函数,得到分类目标的概率矩阵:其中c为多类的类别个数,Vj表示第j类对应的概率值,通过S(j)NF~c可以得到每个类别对应概率值;

F3、得到的S(j)NF~c类别概率值序列为S,其中S={SNF1,SNF2,...,SNFc},c为多类的类别个数,通过one‑hot编码的最大值求解,得到该输出的最大概率类:Outb=(max(S,length(c)))one‑hot,(b∈g)               (12)其中length(c)为c的长度,即是类别个数,g为输入图像的数量,求得S概率序列中的最大概率值,将该值对应的序列位置用one‑hot编码表示;

G3、原始输入图像对应的类别标签集合为labelall,其中labelall={l1,l2,...,lg},通过将标签lb与对应的网络输出Outb之间的one‑hot编码对比,b∈g,即可确认预测分类是否正确;

H3、记录对比正确的次数acc_true和对比的总次数acc_total,利用正确次数除总次数,即可得到分类结果的识别率。