欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022105327368
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种动态展示的实时三维虚拟试衣系统,其特征在于,包括:信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元;

所述信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集;

所述数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储;

所述数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构,得到用户自定义的私人虚拟数字人;

所述数字人构建单元的具体处理过程如下:

1)通过用户输入身体部分尺寸数据值,包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围,先通过用户输入的性别信息确定男或女数字人模型,用l1‑la分别表示数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小,用 分别表示第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小,b表示人体模型数据库中的数字人模型的编号;系统自动计算输入尺寸与人体模型库中数字人模型对应部位的尺寸偏差大小关系,计算公式如下所示:pb表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差,wa表示身体部分尺寸数据在模型中的影响权重值,系统选择最小pb对应的编号b的数字人模型作为用户的专属数字人;

2)通过对用户人脸拍照得到的用户人脸图像上传分析,系统基于机器学习网络框架将该人脸图像替换步骤1)中的数字人体模型的脸部信息实现数字人脸部重建;

3)用户输入人机交互指令,在发型肤色贴图库中,挑选自定义的发型和肤色并进行替换选择,得到用户自定义的私人虚拟数字人;

所述机器学习网络框架部分由4部分组成:人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块:人脸关键点检测模块用于对人脸的68个关键点进行提取,这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点;该模块先读取用户的输入图像并进行预处理转换为灰阶图像,然后对该灰阶图像进行特征点识别来检测人脸中的特征点;

人脸生成模块用于新的人脸生成,该人脸生成模块的输入有2部分,分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息,通过深度卷积网络A1中的a个卷积、池化层的作用提取人脸图像的特征信息,然后得到输出特征;其中人脸关键点的输入充当特征加权的作用,对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配,最后图像中像素(i,j)处的特征F(xij)计算公式如下:F(xij)=∑(M(Fij))*f(xij)

其中M(Fij)为图像像素(i,j)处的人脸关键点检测模块提取到的特征,Δx为该像素离关键点的距离,xij表示图像的像素位置,f(xij)为图像像素(i,j)处的特征的权重;

人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别,其输入为人脸生成模块的输出图像和真实样本的人脸图像,通过使用与人脸生成模块中相同的深度卷积网络A2进行特征提取,并在网络末端添加Softmax函数作为网络分类器,得到一个概率输出结果;

人脸生成模块中的深度卷积网络A1和人脸判别模块中的深度卷积网络A2采用相同的神经网络,但不共享参数;

人脸重构模块先对数字人人脸模型关键点处进行形变处理,使3D数字人人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应,然后将生成图像作为人脸贴图,对输出脸部图像进行贴图,实现人脸替换的过程;

所述虚拟试衣单元用于对服装样板进行缝合、布料模拟,并根据数字人骨骼动画和三维场景的选择完成试衣展示;

所述推送单元用于对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程,并上传云端或者手机客户端进行保存。

2.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统,其特征在于:所述机器学习网络框架的训练过程包括如下步骤:S1,初始化人脸生成模块的深度卷积网络A1的参数θ1和人脸判别模块的深度卷积网络A2的参数θ2;

1 2 i′

S2,从真实图像样本中采集i'个样本{j′,j′,...j′},从先验分布噪声中采集i'个噪

1 2 i′

声样本{k,k,...k },并通过深度卷积网络A2生成i'个样本

S3,固定深度卷积网络A1,训练深度卷积网络A2,准确判别真实样本和生成样本,循环n次更新判别器;

S4,使用一定的学习率来更新一次深度卷积网络A1的参数,训练深度卷积网络A1使其减小生成样本与真实样本之间的差距;

S5,多次更新迭代之后,直至深度卷积网络A2判别不出样本来自于生成器的输出还是真实的输出,结束训练;

其训练过程中的损失函数由下述交叉熵来表示:

其中,E为期望,A′1和A′2分别为深度卷积网络A1和深度卷积网络A2的可微函数,j'是真实样本,k为随机噪声,A′1(A′2(k))为人脸判别模块中的生成的概率数据,Pj'表示真实样本的概率分布,Pk(k)表示人脸生成模块生成的假样本的概率分布,p表示人脸生成模块在整个深度学习框架的权重占比大小。

3.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统,其特征在于:所述虚拟试衣单元进一步包括:服装缝合模块、布料模拟模块、动态展示模块;

所述服装缝合模块用于对用户挑选的服装二维样板在制定的缝合信息规则下进行布料缝合,得到三维服装;

所述布料模拟模块通过对人体模型上的服装受到的内力和外力进行力学分析模拟,实现动态三维服装试穿;

所述动态展示模块是将虚拟数字人放在用户从三维场景数据库中挑选的试衣场景中,然后将用户从骨骼动画数据库中挑选的试衣展示动作重定向至数字人,实现动态的三维服装试穿;

从骨骼动画数据库中挑选的试衣展示动作重定向至数字人是指将骨骼动画数据库中的同一组动画应用于数字人构建单元生成的数字人之中,骨骼动画数据库存储了每一种类型角色的各类型动态展示动画,系统通过骨骼重定向将新构建的试衣数字人的骨骼与骨骼动画数据库中的骨骼进行一一匹配,将骨骼动画数据库中的每根骨骼的位移数据复制到虚拟数字人的对应骨骼上,实现数字人的动态展示动画。

4.如权利要求3所述的一种动态展示的实时三维虚拟试衣系统,其特征在:所述缝合信息规则包括:

1)三维空间坐标系的构建,以数字人模型的头顶最高点为原点建立三维空间坐标系,z轴方向为数字人模型脚部指向头部的方向,x轴方向为数字人模型眼朝方向,y轴方向为数字人模型左手方向;

2)关键点信息库构建,遍历二维服装样板的所有边缘关键点并对其进行编号排序后存储在数据存储单元的服装样板数据库中,其中对要进行缝合的对应关键点进行标记,分别记录服装样板与数字人模型要进行初始定位点的空间坐标信息;

3)空间点的对齐,将服装定位关键点放在人体模型定位点对应位置的相同z轴坐标值处,且距x轴h个单位坐标,然后对三维空间下服装对应的相同编号关键点分别进行单向顺序移动,实现空间关键点的对齐;

4)人体模型表面信息构建,将人体模型表面分为多个随机大小的离散三角形,其中保证每个三角形的面积在设定的阈值范围(p,q)内,将所有三角形的顶点坐标信息存储在数据存储单元的人体模型数据库中;

5)服装点的定位,判断三维空间坐标系中的布料三角形的顶点坐标(m,n)是否在距人体模型最近的表面三角形的外部,不在外部的布料顶点通过计算顶点与布料网格体三角面的投影距离,取投影距离最短的投影点作为外部布料顶点移动后的点。

5.如权利要求3所述的一种动态展示的实时三维虚拟试衣系统,其特征在于:所述布料模拟模块通过构建布料力学模型并构建布料模拟算法对布料模型进行解析来实现布料模拟,所述力学模型建模方法包括以下中的一项或多项:质点—弹簧模型、有限元连续体模型;所述布料模拟算法包括以下中的一项或多项:时间积分法、基于位置约束的动力学法、投影动力学法。

6.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统,其特征在于:所述人体模型数据库包含多种类型的人体骨架模型,每种骨架类型按中国服装号型GB/T 1335‑2008标准通过3D建模软件得到多种人体模型;所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库;所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库;所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中;所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中。

7.一种动态展示的实时三维虚拟试衣方法,其特征在于,包括如下步骤:

步骤1,信息采集,包括用户输入参数、用户人脸图像、人机交互指令的信息采集;

步骤2,构建人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库,并进行存储;

步骤3,根据信息采集得到的信息对人体模型数据库中的人体模型进行重构,得到用户专属数字人;具体处理过程如下:

1)通过用户输入身体部分尺寸数据值,包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围,先通过用户输入的性别信息确定男或女数字人模型,用l1‑la分别表示数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小,用 分别表示第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小,b表示人体模型数据库中的数字人模型的编号;系统自动计算输入尺寸与人体模型库中数字人模型对应部位的尺寸偏差大小关系,计算公式如下所示:pb表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差,wa表示身体部分尺寸数据在模型中的影响权重值,系统选择最小pb对应的编号b的数字人模型作为用户的专属数字人;

2)通过对用户人脸拍照得到的用户人脸图像上传分析,系统基于机器学习网络框架将该人脸图像替换步骤1)中的数字人体模型的脸部信息实现数字人脸部重建;

3)用户输入人机交互指令,在发型肤色贴图库中,挑选自定义的发型和肤色并进行替换选择,得到用户自定义的私人虚拟数字人;

所述机器学习网络框架部分由4部分组成:人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块:人脸关键点检测模块用于对人脸的68个关键点进行提取,这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点;该模块先读取用户的输入图像并进行预处理转换为灰阶图像,然后对该灰阶图像进行特征点识别来检测人脸中的特征点;

人脸生成模块用于新的人脸生成,该人脸生成模块的输入有2部分,分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息,通过深度卷积网络A1中的a个卷积、池化层的作用提取人脸图像的特征信息,然后得到输出特征;其中人脸关键点的输入充当特征加权的作用,对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配,最后图像中像素(i,j)处的特征F(xij)计算公式如下:F(xij)=∑(M(Fij))*f(xij)

其中M(Fij)为图像像素(i,j)处的人脸关键点检测模块提取到的特征,Δx为该像素离关键点的距离,xij表示图像的像素位置,f(xij)为图像像素(i,j)处的特征的权重;

人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别,其输入为人脸生成模块的输出图像和真实样本的人脸图像,通过使用与人脸生成模块中相同的深度卷积网络A2进行特征提取,并在网络末端添加Softmax函数作为网络分类器,得到一个概率输出结果;

人脸生成模块中的深度卷积网络A1和人脸判别模块中的深度卷积网络A2采用相同的神经网络,但不共享参数;

人脸重构模块先对数字人人脸模型关键点处进行形变处理,使3D数字人人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应,然后将生成图像作为人脸贴图,对输出脸部图像进行贴图,实现人脸替换的过程;

步骤4,对服装样板进行缝合、布料模拟,并根据数字人骨骼动画和三维场景的选择完成试衣展示;

步骤5,对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程,并上传云端或者手机客户端进行保存。