欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022107952128
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于姿态迁移的虚拟试衣方法,其特征在于,包括以下步骤:

步骤1,获取原始解析图和试穿者图像,先提取试穿者图像中的服装像素信息,得到简陋的服装图像,再进行纹理修复得到精细的服装图像;

步骤2,将原始解析图、目标服装和目标姿势输入到解析引导网络,得到解析引导图;

步骤3,根据解析引导图,对目标服装的扭曲范围做初步限定;

步骤4,获取目标姿态并预处理得到去除了下半身的解析图,通过服装曲翘网络获得扭曲后的服装图像;

步骤5,根据解析引导图、扭曲后的目标服装图像、目标姿态和试穿者图像,通过试穿图像生成网络生成目标姿态的试穿结果;

步骤2的具体过程如下:

首先,将原始解析图和目标姿势输入到解析引导网络,利用解析引导网络的多层卷积网络提取图像特征,并在解析引导网络中加入残差模块和小波采样层用于提取更高级的语义结构,使得解析引导网络深入学习人体各个部位之间的关系细节,其中,小波采样层是通过小波变换将特征图转换到频域进行下采样,可以更好地保留纹理信息;

然后,将提取到的图像特征输入到解析引导网络的多层反卷积网络中,对图像进行上采样,并在卷积与反卷积之间加入归一化层,用来增强全局特征和局部特征之间的特征融合,并引入归一化约束损失函数,控制上采样过程中保留更多的语义细节;

最后,将生成的解析引导图与目标状态进行空间位置比较,确保各语义部分与对应的姿态关键点在位置上贴合,更好的处理手臂和服装之间重叠时的关系,并对语义位置进行微调得到更规整的解析引导图;

语义解析网络包括依次连接的5个残差块,残差块之间经小波层连接,小波层在频域空间对特征图下采样;末端的残差块连接归一化层,用来增强全局特征和局部特征之间的特征融合,并引入归一化约束损失函数,控制上采样过程中保留更多的语义细节;归一化之后经依次连接的5个反卷积层处理,相邻的反卷积层之间经逆小波层连接,逆小波层用于上采样,末端的反卷积层输出解析引导图;

步骤5中,试穿图像生成网络包括生成器和判别器,生成器的输入是解析引导图、扭曲后的服装图像和试穿者图像,在解析引导图的限定下,根据扭曲后服装图像和试穿者图像的像素信息生成粗糙试穿结果图,再经过判别器并引入特征点匹配损失函数,判定粗糙试穿结果图是否符合目标姿态,并提取更多手臂区域特征,加强粗糙试穿结果图的细节,提高图像清晰度;

所述特征点匹配损失函数如下:

式中, 表示特征点匹配损失函数,W表示粗糙试穿结果图中人体姿态坐标点,M表示目标姿态的坐标点,Wi(x)表示粗糙试穿结果图中人体姿态坐标点i的横坐标,Mi(x)表示目标姿态图中坐标点i的横坐标,n表示特征点总个数,|Wi(x)‑Mi(x)|表示相同部位关键点在x轴的欧式距离,α,β均为调整系数,且α+β=1。

2.根据权利要求1所述的虚拟试衣方法,其特征在于,步骤1对服装图像进行像素级修复,具体修复过程包括:先通过卷积神经层学习服装图像的边缘信息特征,关注像素值剧烈变化的区域;再使用插值法对像素值剧烈变化的区域进行像素修复,确保服装边缘平滑且与背景自然过渡。

3.根据权利要求2所述的虚拟试衣方法,其特征在于,步骤1包括以下子步骤:首先,根据原始解析图中的服装语义信息,提取试穿者图像中对应区域的像素信息,得到粗糙的服装图像,服装图像存在图像边缘模糊或图像边缘有缺口的情形;

然后,对服装图像进行纹理修复,使用插值法对粗糙服装图像中的模糊和缺口区域进行像素补齐或填充,得到更加精细的服装图像。

4.根据权利要求3所述的虚拟试衣方法,其特征在于,所述归一化约束损失函数如下:′

式中, 表示归一化约束损失函数,G表示图像的全局特征,G 表示解析后图像′的全局特征,L表示图像的局部特征,L表示解析后图像的局部特征, 表示解析前后图像全局特征匹配损失函数, 表示解析前后图像局部特征匹配损失函数,均为学习系数。

5.根据权利要求3所述的虚拟试衣方法,其特征在于,步骤4的具体过程如下:首先,根据解析引导图中各语义信息像素值的不同,去除下半身的语义信息,得到去除了下半身的解析图;

然后,通过去除了下半身的解析图和目标姿态,限制服装图像扭曲的整体轮廓,避免曲翘网络对服装图像进行强行变形,避免服装过度扭曲;

最后,经过曲翘网络并引入平面变形损失函数对服装图像进行变形,得到扭曲后的服装图像。

6.根据权利要求5所述的虚拟试衣方法,其特征在于,所述平面变形损失函数如下:式中,Cx(x),Cy(x)分别表示采样参数的x,y坐标,|Cx(x+i,y)‑Cx(x,y)|表示两个节点之间的欧氏距离,i,j均为形变量,γ,δ均为形变系数。