欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020111169517
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于2D图像的四阶段虚拟试衣方法,其特征在于,包括:获取参考人图像和目标衣服图像;

从所述参考人图像中提取人体部位语义分割图和姿势图,并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图;

对目标衣服图像进行扭曲得到扭曲衣服图像;

根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图;

根据所述预测的语义分割图和姿势图生成手臂图像;

根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像,完成基于

2D图像的四阶段虚拟试衣。

2.如权利要求1所述的四阶段虚拟试衣方法,其特征在于,所述根据所述预测的语义分割图和姿势图生成手臂图像包括:从所述语义分割图像中提取手臂掩码;

根据所述姿势图中的手掌关键点从参考人图像中提取手掌图像;

使用手掌图像和手臂掩码生成手臂图像。

3.如权利要求1或2所述的四阶段虚拟试衣方法,其特征在于,所示从所述参考人图像中提取人体部位语义分割图和姿势图之后,还包括:根据所述人体部位语义分割图与所述参考人图像中得到粗糙身体形状图和非试穿区域细节图,所述非试穿区域细节图为除手臂区域之外的非试穿区域图;

根据所述粗糙身体形状图、姿势图及非试穿区域细节图合成得到参考人表示图;

所述对目标衣服图像进行扭曲得到扭曲衣服图像中,包括:将所述参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征,所述两个孪生卷积神经网络结构相同;

将所述参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数;

根据所述空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像,完成对目标衣服图像的扭曲。

4.如权利要求3所述的四阶段虚拟试衣方法,其特征在于,所述根据所述空间变换参数对目标衣服图像的像素进行扭曲得到扭曲衣服图像之后还包括:将所述目标衣服图像传入卷积神经网络提取特征;

根据所述空间变换参数对提取的目标衣服图像的特征进行扭曲;

将扭曲的特征传入与所述卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的特征扭曲衣服图像和预测扭曲衣服合成掩码;

基于所述扭曲衣服合成掩码对像素扭曲衣服图像和特征扭曲衣服图像进行合成得到扭曲衣服图像;和/或,在所述根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像中包括:根据语义分割图、提取的非试穿区域细节图、扭曲衣服图像及手臂图像得到初步试穿合成图像和预测试穿图像合成掩码;

使用试穿图像合成掩码对初步试穿合成图像和扭曲衣服图像进行逐元素乘法操作得到最终的试穿合成图像。

5.一种基于2D图像的四阶段虚拟试衣装置,其特征在于,包括:图像获取模块,用于获取参考人图像和目标衣服图像;

衣服无关融合图生成模块,用于从所述参考人图像中提取人体部位语义分割图和姿势图,并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图;

衣服扭曲模块,用于对目标衣服图像进行扭曲得到扭曲衣服图像;

语义分割图生成模块,用于根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图;

手臂图像生成模块,用于根据所述预测的语义分割图和姿势图生成手臂图像;

试穿合成模块,用于根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像,完成基于2D图像的四阶段虚拟试衣。

6.如权利要求5所述的四阶段虚拟试衣装置,其特征在于,所述手臂图像生成模块中包括:手臂掩码提取单元,用于从所述语义分割图像中提取手臂掩码;

手掌图像提取单元,用于根据所述姿势图中的手掌关键点从参考人图像中提取手掌图像;

手臂图像合成单元,用于使用手掌图像和手臂掩码生成手臂图像。

7.如权利要求5或6所述的四阶段虚拟试衣装置,其特征在于,所述衣服无关融合图生成模块中还包括:图像提取单元,用于根据所述人体部位语义分割图与所述参考人图像中得到粗糙身体形状图和非试穿区域细节图,所述非试穿区域细节图为除手臂区域之外的非试穿区域图;

参考人表示图生成单元,用于根据所述粗糙身体形状图、姿势图及非试穿区域细节图合成得到参考人表示图;

所述衣服扭曲模块中包括:

第一特征提取单元,用于将所述参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征,所述两个孪生卷积神经网络结构相同;

空间变换参数预测单元,用于将所述参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数;

像素扭曲单元,用于根据所述空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像,完成对目标衣服图像的扭曲。

8.如权利要求7所述的四阶段虚拟试衣装置,其特征在于,所述衣服扭曲模块中还包括:第二特征提取单元,用于将所述目标衣服图像传入卷积神经网络提取特征;

特征扭曲单元,用于根据所述空间变换参数对提取的目标衣服图像的特征进行扭曲;

特征扭曲衣服图像生成单元,用于将扭曲的特征传入与所述卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的特征扭曲衣服图像和预测扭曲衣服合成掩码;

扭曲衣服合成单元,用于基于所述扭曲衣服合成掩码对像素扭曲衣服图像和特征扭曲衣服图像进行合成得到扭曲衣服图像;和/或所述试穿合成模块中包括:

初步合成单元,用于根据语义分割图、提取的非试穿区域细节图、扭曲衣服图像及手臂图像得到初步试穿合成图像和预测试穿图像合成掩码;

再次合成单元,用于使用试穿图像合成掩码对初步试穿合成图像和扭曲衣服图像进行逐元素乘法操作得到最终的试穿合成图像。

9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时实现如权利要求1-4中任一项所述基于2D图像的四阶虚拟试衣方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述基于2D图像的四阶虚拟试衣方法的步骤。