1.一种由人像浮雕重建3D人像模型的方法,其特征在于以单幅人像浮雕为输入,提取人像浮雕中的法向和人脸轮廓,通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型,所述方法包括:S100、选取一个3D人脸模板,在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配,得到初始3D人脸;
S200、计算人像浮雕的基础法向和细节法向,并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上,得到法向迁移后3D人脸法向图;
S300、以法向迁移后3D人脸法向图内的法向为目标法向,将初始3D人脸内每个三角面片沿着其中心进行旋转,使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量,并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化,得到形状优化后3D人脸;
S400、根据人像浮雕的轮廓法向估算一个膨胀法向层,将人像浮雕的基础法向和细节法向迁移至膨胀法向层后,叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性,得到3D人像整体法向图;
S500、以3D人像整体法向图内的法向为目标法向,将人像浮雕内每个三角面片沿着其中心进行旋转,使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量,并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场,并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸,得到3D人像模型;
步骤S400根据人像浮雕的轮廓法向估算一个膨胀法向层,包括如下步骤:设定人像浮雕的轮廓法向为法向Ni,Ni=[nx,ny.nz],将上述法向Ni修正为N'i=[n'x,n”y.n'z],法向N'i与z向量z=[0,0,1]垂直;
以法向N'i为已知条件,通过如下公式计算对应于人像浮雕对应的膨胀层3D人像法向,公式为:
L·n′=0
其中,L为人像浮雕的拉普拉斯算子,n'为待求解的膨胀层3D人像法向的法向分量n′x和n′y;
通过归一化计算膨胀层3D人像法向的法向分量n′z;
步骤S400中通过优化确保叠加边界处的法向连续性,包括如下步骤:以叠加形状优化后3D人脸的法向之前以及之后的膨胀法向层法向差值为约束条件,计算如下公式:
L·Δn=0
其中,L为人像浮雕的拉普拉斯算子,Δn表示叠加边界处的顶点法向差值;
叠加形状优化后3D人脸的法向之前,膨胀法向层的法向为法向n,将Δn添加至法向n以更新法向,得到3D人像整体法向图。
2.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法,其特征在于步骤S100中,在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配,包括如下步骤:
S110、分别在3D人脸模板和人像浮雕上标定若干个一一对应的人脸特征点,根据上述一一对应的人脸特征点的坐标差计算人脸位姿,根据人脸位姿对3D人脸模板进行坐标变换,得到匹配后3D人脸;
S120、对于上述匹配后3D人脸,以其人脸特征点的目标坐标和原始坐标的坐标差为约束,将所述匹配后3D人脸的特征点与人像浮雕的特征点对齐,得到变形后3D人脸;
S130、根据法线方向检测所述变形后3D人脸的人脸轮廓线,从人脸轮廓线上标定轮廓线段,并从标定轮廓线段上选取一定数量的标定顶点作为约束,将所述变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐,得到初始3D人脸;
人脸位姿包括缩放参数、旋转参数以及平移量参数。
3.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法,其特征在于步骤S120包括如下分步骤:
S121、通过如下公式计算匹配后3D人脸中每个镜像特征点的z坐标:其中,zi表示匹配后3D人脸中第i个镜像特征点,z(vi)表示匹配后3D人脸中第i个镜像特征点的z坐标,ox表示匹配后3D人脸中鼻梁特征点oi的x坐标,oy表示匹配后3D人脸中鼻梁特征点oi的y坐标,oz表示匹配后3D人脸中鼻梁特征点oi的z坐标,nx表示匹配后3D人脸镜像平面的法向的x分量,ny表示匹配后3D人脸镜像平面的法向的y分量,nz表示匹配后3D人脸镜像平面的法向的z分量,cx表示人像浮雕上与鼻梁特征点oi对应的镜像特征点ci的x坐标,cy表示人像浮雕上与鼻梁特征点oi对应的镜像特征点ci的y坐标,cz表示人像浮雕上与鼻梁特征点oi对应的镜像特征点ci的z坐标;
S122、对于匹配后3D人脸中除了镜像特征点之外的其它可见特征点,每个可见特征点的目标z坐标与原始z坐标相同,对于匹配后3D人脸中不可见特征点,其目标坐标通过对应的可见特征点坐标镜像得到,匹配后3D人脸中每个特征点均对应有一个目标坐标;
S123、以匹配后3D人脸中人像特征点的目标坐标和原始坐标之间的坐标差为约束,通过求解如下公式对匹配后3D人脸进行特征点对齐,所述公式为:L2·Δd=0
其中,L2表示双拉普拉斯算子,Δd表示匹配后3D人脸中特征点的目标坐标和原始坐标之间的坐标差;
S124、将Δd添加到匹配后3D人脸中特征点的原始坐标,更新匹配后3D人脸的形状,得到变形后3D人脸。
4.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法,其特征在于步骤S200中,通过拉普拉斯平滑方法计算人像浮雕的基础法向nb;
通过向量分解得到人像浮雕的细节法向nd,向量分解时,计算输入法向n0与基础法向nb之间的旋转角θ,围绕轴n0×nb将z轴旋转θ,或者围绕轴n0×nb将z轴旋转2*θ以增强法向细节。
5.根据权利要求2所述的一种由人像浮雕重建3D人像模型的方法,其特征在于所述基础法向和细节法向均为待迁移法向,通过如下方法将人像浮雕的待迁移法向迁移至初始3D人脸:
通过深度插值计算初始3D人脸与人像浮雕之间网格顶点对应关系;
计算迁移法向与法向nz之间的旋转角θb,其中nz=[0,0,1];
围绕轴nz×nf将nf增加θf,其中法向nf为变形后3D人脸中可见人脸法向,θf=cosα*θb,α为法向nz与法向nf之间的夹角。
6.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法,其特征在于步骤S300中,通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化,包括:
通过实现初始3D人脸能量最小化的方式对初始3D人脸进行形状优化,使得初始3D人脸曲面的坐标梯度接近三角面片沿着其中心进行旋转后初始3D人脸的梯度,计算公式为:其中,f(v)是初始3D人脸顶点的坐标,▽f(v)为初始3D人脸顶点的坐标梯度,gf(v)为三角面片沿着其中心进行旋转后初始3D初始人脸顶点的梯度;
将上述计算公式转换为双拉普拉斯线性系统,公式为:L2·f=b
其中,L2为初始3D人脸的双拉普拉斯矩阵,b为初始3D人脸的拉普拉斯矩阵和散度向量的乘积,f为待求解的3D人脸的坐标。
7.根据权利要求1所述的一种由人像浮雕重建3D人像模型的方法,其特征在于步骤S500中,通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场,包括:
通过实现人像浮雕能量最小化的方式对人像浮雕进行高度场重建,使得人像浮雕曲面的坐标梯度接近三角面片沿着其中心进行旋转后人像浮雕的梯度,计算公式为:其中,f(v)是人像浮雕顶点的坐标, 为人像浮雕顶点的坐标梯度,gf(v)为三角面片沿着其中心进行旋转后人像浮雕人脸顶点的梯度;
将上述计算公式转换为双拉普拉斯线性系统,公式为:L2·f=b
其中,L2为人像浮雕的双拉普拉斯矩阵,b为人像浮雕的拉普拉斯矩阵和散度向量的乘积,f为待求解的人像高度场z坐标。
8.一种重建3D人脸模型的系统,其特征在于通过如权利要求1‑7任一项所述的一种由人像浮雕重建3D人像模型的方法构建3D人像模型,所述系统包括:初始构建模块,所述初始构建模块用于在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及轮廓匹配,得到初始3D人脸;
法向迁移模块,所述法向迁移模块用于计算人像浮雕的基础法向和细节法向,并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上,得到法向迁移后3D人脸法向图;
形状优化模块,所述形状优化模块用于以法向迁移后3D人脸法向图内的法向为目标法向,将初始3D人脸内每个三角面片沿着其中心进行旋转,使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量,并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化,得到形状优化后3D人脸;
法向重建模块,所述法向重建模块用于根据人像浮雕的轮廓法向估算一个膨胀法向层,将人像浮雕的基础法向和细节法向迁移至膨胀法向层后,叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性,得到3D人像整体法向图;
高度优化模块,所述高度优化模块用于以3D人像整体法向图内的法向为目标法向,将人像浮雕内每个三角面片沿着其中心进行旋转,使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量,并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场,并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸,得到3D人像模型。