欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018102053139
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人脸浮雕几何建模方法,其特征在于以单张人脸图像为输入,在网格域进行三维几何自动重构,根据用户指定的厚度和映射角度生成人脸浮雕模型,包括如下步骤:S1、对输入的单张人脸图像进行人脸关键特征点定位,获取人脸图像特征点;

S2、基于BFM参数化人脸模型构建初始3D人脸;

S3、基于Bi-Laplacian约束点位移法对初始3D人脸进行形状优化,生成形状优化后3D人脸,包括:选取人脸图像特征点作为约束点,求解约束点由当前位置移动至目标位置的约束点位置变动量;基于上述约束点位置变动量,采用硬约束通过Bi-Laplacian约束点位移法求解并带动初始3D人脸中除约束点之外的其它3D人脸网格顶点产生位移;

Bi-Laplacian约束点位移线性方程为:

其中,L2为Bi-Laplacian矩阵、等价于两个Laplacian矩阵的乘积L2=L·L,L为Laplacian矩阵,Ik为单位矩阵,n为形状优化后3D人脸顶点总数量,n'为自由顶点数量,m为约束点数量,m=n-n',约束点位置变动量di=fi-gi为上述Bi-Laplacian约束点位移线性方程系统的边界条件;

S4、基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系,通过人脸高度场泊松重建方法对形状优化后3D人脸进行高度场优化,生成高度场优化后3D人脸;

S5、对高度场优化后3D人脸进行线性压缩,生成原始3D人脸浮雕,并通过人脸高度场泊松重建方法对原始人脸浮雕进行几何细节优化,生成具备丰富几何细节的人脸浮雕。

2.根据权利要求1所述的一种人脸浮雕几何建模方法,其特征在于步骤S2基于BFM参数化人脸模型构建初始3D初始人脸,包括如下步骤:S21、BFM人脸表示为M=(μ,σ,t),基于上述BFM人脸,3D人脸在BFM模型空间表示为S(α)=μ+t·diag(σ)·α,其中α为形状因子,μ∈R3m为平均人脸,m为3D人脸网格顶点数量,σ∈Rn-1为形状标准偏差,t=(t1,t2,......,tn)∈R3m×n-1为n-1个经过PCA分解的标准正交基;

S22、人脸图像特征点像素坐标表示为fi'=(wi,hi),平均人脸图像特征点空间坐标表示为gi=(xi,yi,zi),将人脸图像特征点像素坐标逆映射为BFM模型空间坐标,BFM模型空间坐标表示为fi=(xi,yi,zi),BFM模型空间坐标与平均人脸图像特征点空间坐标之间的坐标差表示为D=(d1,d2,......,dn)T∈R2mwith di=fi-gi;

S23、输入矩阵Q∈R2m×nwith qij=σj·tij,输入矩阵Q的SVD奇异值分解式表示为Q=U·W·V with W∈R2m×n,通过上述输入矩阵Q的SVD奇异值分解式构建形状因子,形状因子的表达式为S24、将上述形状因子的表达式代入3D人脸在BFM模型空间的表达式,生成初始3D人脸。

3.根据权利要求2所述的一种人脸浮雕几何建模方法,其特征在于步骤S4基于人脸图像光照强度与形状优化后3D人脸几何法向之间的联系对形状优化后3D人脸进行高度场优化,包括如下步骤:S41、通过二次光照模型模拟人脸图像的当前光照环境,计算形状优化后3D人脸网格顶点亮度,并对形状优化后3D人脸网格顶点亮度进行光照细节分割,得到形状优化后3D人脸顶点亮度的中低频组分和高频组分;

S42、以形状优化后3D人脸网格顶点亮度的中低频组分为目标亮度,以形状优化后3D人脸法向为初始值,通过基于半球网格模型的三角面片法向搜索方法对形状优化后3D人脸的每个三角面片进行法向搜索,生成3D人脸的目标法向;

S43、以3D人脸的目标法向为输入,通过高度场泊松重建方法对形状优化后3D人脸进行高度场优化,生成高度场优化后3D人脸。

4.根据权利要求3所述的一种人脸浮雕几何建模方法,其特征在于步骤S41包括如下步骤:

S411、在全局光照条件下,形状优化后3D人脸顶点网格亮度Si表示为形状优化后3D人脸网格顶点法向的二次函数: 对称矩阵A∈R3×3,向量b∈R3×1,c为常量,ni为形状优化后3D人脸网格顶点法向,形状优化后3D人脸网格顶点亮度Si的取值范围为0~255,对称矩阵A、向量b和常量c组成二次光照参数,以形状优化后3D人脸网格顶点法向ni和人脸图像内对应的像素亮度Ii为输入条件,通过最小二乘法计算上述二次光照参数;

S412、以形状优化后3D人脸网格顶点法向ni和上述二次光照参数为输入条件,计算形状优化后3D人脸网格顶点亮度Si;

S413、形状优化后3D人脸网格顶点亮度Si和人脸图像内对应的像素亮度Ii的亮度差li表示为li=Ii-Si,通过能量最小化提取亮度差li的中低频组分,能量最小化公式表示为通过求解上述能量最小化公式得到形状优化后3D人脸网格顶点亮度的高频组分ri,ri=li-l′i,li'为光顺后的亮度差,L2为Bi-Laplacian矩阵、等价于两个Laplacian矩阵的乘积L2=L·L,L为Laplacian矩阵。

5.根据权利要求4所述的一种人脸浮雕几何建模方法,其特征在于步骤S5包括如下步骤:

S51、将高度场优化后3D人脸变换至指定映射角度,在指定映射角度下对高度场优化后

3D人脸的高度坐标进行归一化并进行线性压缩,生成原始人脸浮雕;

S52、以人脸图像像素亮度为目标亮度,以3D人脸的目标法向为初始值,通过基于半球网格模型的三角面片法向搜索方法进行法向二次搜索,生成浮雕人脸的目标法向;

S53、以人脸浮雕的目标法向为输入,基于人脸高度场泊松重建方法对原始浮雕人脸进行高度场优化,生成高度场优化后的浮雕人脸。

6.根据权利要求5所述的一种人脸浮雕几何建模方法,其特征在于步骤S42以及步骤S52中基于半球网格模型的三角面片法向搜索方法,包括如下步骤:L1、在人脸图像的当前光照环境下计算半球网格模型的亮度范围,亮度范围记为[bmin,bmax],并将亮度范围均分为多个半球亮度区间,每个半球亮度区间内均包括多个具有相同亮度的半球顶点,上述位于同一个半球亮度区间内、且具有相同亮度的半球顶点记为候选顶点;

L2、将上述亮度范围设定为目标亮度,根据三角面片的目标亮度搜索到对应的半球亮度区间,半球亮度区间内每个半球顶点的亮度和与其对应的三角面片的目标亮度一致;

L3、根据法向夹角最小判断准则,位于同一半球亮度区间内的所有候选顶点中其法向与三角面片输入法向夹角最小的候选顶点法向为对应三角面片的目标法向。

7.根据权利要求5所述的一种人脸浮雕几何建模方法,其特征在于步骤S43以及步骤S53中人脸高度场泊松重建方法,包括如下步骤:M1、通过欧拉-拉格朗日方程推导目标函数 生成泊松方程ΔH

=div(g'),上述泊松方程等价于求解稀疏线性系统L·z=b,其中,L为人脸顶点网格顶点的Laplacian矩阵,z为人脸网格顶点的高度坐标向量,b为人脸网格顶点的散度向量;

M2、将每个三角面片沿其中心旋转至目标法向位置,计算每个三角面片的高度梯度,并基于三角面片的高度梯度计算人脸网格顶点高度方向的散度;

M3、对人脸内部进行高度不变的位置约束,稀疏线性系统变形为位置约束后稀疏线性系统L2·z=LTb,其中L2为Bi-Laplacian矩阵。

8.根据权利要求6所述的一种人脸浮雕几何建模方法,其特征在于步骤S43还包括如下步骤:区分3D人脸网格顶点在泊松重建过程中的变形比重,并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M,位置约束后稀疏线性系统变形为M·L2·z=M·LTb,M的对角元素为每个3D人脸网格顶点的权因子ωj,ωj=exp(λ·l′i),l′i为亮度补偿值,λ为常数。

9.根据权利要求6所述的一种人脸浮雕几何建模方法,其特征在于步骤S53还包括如下步骤:区分原始浮雕人脸网格顶点在泊松重建过程中的变形比重,并在位置约束后稀疏线性系统的两侧同时乘以对称的对角矩阵M,位置约束后稀疏线性系统变形为M·L2·z=M·LTb,M的对角元素为每个原始浮雕人脸网格顶点的权因子ωj,ωj=exp(λ·ri),ri为3D人脸网格顶点亮度的高频亮度,λ为常数。