1.一种基于非线性3DMM的人脸图像特征编码方法,其特征在于:该方法包括以下步骤:S1:图像数据集数据增强预处理;
S2:图像归一化处理;
S3:对DenseNet神经网络结构进行改造;
S4:解码器网络解析特征参数;
S5:渲染层网络渲染图像,重建原始人脸;
所述S1具体为:
利用Retinex算法对数据集图像进行增强预处理,具体公式如下:I(x,y)=L(x,y)*R(x,y)其中I(x,y)代表被观察或照相机接收到的图像信号;L(x,y)代表环境光的照射分量;R(x,y)表示携带图像细节信息的目标物体的反射分量;
将上述等式两边分别取对数,抛开入射光的性质得到物体本来的面貌,公式如下:Log[R(x,y)]=Log[I(x,y)]‑Log[L(x,y)]其中假设一幅图像数据I(x,y),计算出对应的R(x,y),则认为R(x,y)是增强后的图像;
所述S3具体为:
利用DCNN充当一个编码器,去估计编码当前输入的人脸图像各项特征参数,包括光照参数、投影参数、面部形状参数以及面部纹理参数或者是反照率参数;整个编码器网络功能表示如下:E:I→m,L,fS,fA
其中I表示输入的一组2D人脸图像,m,L,fS,fA分别表示投影参数、光照参数、形状参数以及反照率参数;
编码器采用的基干网络为DenseNet网络,具体为DenseNet121;
将最后一个全连接层进行改造,将该全连接层的上一层结果进行分解,分成四个分支各自进行光照参数、投影参数、形状参数和反照率参数的估计;
每一个分支再经过一个卷积块,由卷积层和批量归一化层构成;
接着再利用池化层处理,采用平均池化;
最后估计形状和反照率参数的分支再通过池化操作得到相应的特征参数值,估计光照和投影参数的分支经过一线性层的处理得到最终的估计值;
所述S4具体为:
编码器网络对输入人脸图像进行编码估计后,与解码器网络进行融合,解码器网络是非线性3DMM;
解码器网络由形状解码器和反照率解码器两部分构成,分别负责对编码器的估计输出进行解码操作,形状解码器和反照率解码器分别由两个深度神经网络DCNN组成,只是最终的输出层的设置不同,解析3D面部形状和真实反照率;解码器网络表示如下:其中DS,DA分别表示形状和反照率解码器,S,A为解码得到的三维面部形状和真实反照率;
所述S5具体为:
解码器解码完成之后,利用获取的光照参数、投影参数、以及解析的形状和反照率通过一渲染层进行渲染得到最终的重建图像,涉及三维空间到二维平面的映射;具体分为如下几部分:
1)利用旋转后的面部形状和投影参数计算表面法线映射,再通过预先选择的光照模UV型,计算UV空间的阴影C ;
2)通过将解码器解析得到的真实反照率进行UV空间映射,得到相应空间中的反照率表UV UV示A ,然后将反照率和阴影进行融合计算出来纹理T ;
3)利用Z‑Buffering渲染器通过前面获得的纹理和面部网格进行渲染,实现重建原始人脸图像的任务;
最终的目标函数表示为:
其中 表示重建的图像,表示为 表示渲染层;
损失函数分为两个阶段,两个阶段依次递进,具体表示如下公式:L=Lrec+λlandLland+λregLregLpre=LS+λTLT+λmLm+λlandLland+λregLreg其中Lpre表示预训练阶段损失,在模型前期训练过程中,引入预训练损失函数来指导早期迭代中的训练;等到预训练损失收敛之后,再将整个损失切换到正式损失阶段即L。
2.根据权利要求1所述的一种基于非线性3DMM的人脸图像特征编码方法,其特征在于:所述S2具体为:
图像增强之后,在进入编码器网络之前,对其进行归一化处理。