欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019107165281
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于残差沙漏网络的人脸对齐方法,其特征在于,包括以下步骤:步骤1:构建新型残差沙漏网络;

所述新型残差沙漏网络包括新型残差模块和残差模块;所述新型残差模块是在残差模块的基础上新增一个卷积分支,新增卷积分支核尺度大小为k,其中k随沙漏网络当前层数hg_level变化;残差模块的输出为h(x),新型残差模块的输出为h′(x),则有:h(x)=f(x)+x;

k

h′(x)=f(x)+g(x)+x;

k=hg_level*2+1;

k

式中,x为残差模块的输入,f(x)为将x经由三层卷积操作的到输出,g (x)为新型残差模块中x在新型卷积分支核尺度为k的情况下得到的输出,hg_level为沙漏网络当前所在层,hg_levels为沙漏网络总层数,H(x)为沙漏网络最后输出;

步骤2:对输入图片经过堆叠新型残差沙漏网络得到预估人脸关键点热力图{H1,H2...,HN},其中,Hi表示第i个新型残差沙漏网络得到的预估人脸关键点热力图,1≤i≤N,N为堆叠的新型残差沙漏网络个数;

步骤3:对输入图片的真实人脸关键点结合二维高斯函数生成真实人脸关键点热力图步骤4:将新型残差沙漏网络每个阶段的预估人脸关键点热力图Hi和真实人脸关键点热力图 进行loss,得到Li,再对整个网络阶段得到的loss{L1,L2...,LN}取平均值得到最终的L;

步骤5:通过对网络训练得到训练模型,对输入图片经过训练模型得到预测的人脸关键点热力图H,将热力图H转化为预测人脸关键点坐标P;

步骤6:将这些人脸关键点在原图上绘制出来。

2.根据权利要求1所述的基于残差沙漏网络的人脸对齐方法,其特征在于,步骤3中,利用二维高斯函数生成人脸关键点热力图的计算公式为:hm(w,h,i)0<i<M=f(xi,yi)0<xi<w,0<yi<h;

2

式中f(x,y)为二维高斯函数,ksize为高斯函数大小,sigma为高斯函数方差,(x0,y0)为中心点的坐标,这里即为真实人脸关键点的坐标,hm(w,h,i)0<i<M为第i个关键点的热力图,w、h分别为热力图的宽、高,M为关键点的总个数;最终生成的真实人脸关键点热力图即为所有关键点生成的hm(w,h,i)0<i<M的组合。

3.根据权利要求1所述的基于残差沙漏网络的人脸对齐方法,其特征在于,步骤4中,个阶段的损失函数Li和最终的损失函数L的表达式为:式中,hj和 分别为当前阶段的第j个人脸关键点的预估热力图和真实热力图,M为人脸关键点的总个数,n为网络阶段总数,即为堆叠的新型残差沙漏网络个数。

4.根据权利要求2所述的基于残差沙漏网络的人脸对齐方法,其特征在于,步骤5的具体实现包括以下步骤:

步骤5.1:将热力图hm(w,h,i)0<i<M转化为一位向量,取其中最大值;

步骤5.2:计算出热力图hm(w,h,i)0<i<M中最大值所在热力图像素位置坐标,即为预测的人脸关键点坐标P。