欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021108913200
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种风格迁移模型训练方法,所述方法包括:

获取预置的样本集,所述样本集包括至少一个样本,所述样本包括二维原图和与所述二维原图对应的风格化图;

获取预先建立的包括卷积神经网络和图像转换模块的风格迁移网络,所述卷积神经网络用于表征二维图像与风格化的三维图像参数之间的关系,所述图像转换模块用于传递所述卷积神经网络的反向传播梯度,且不参与所述卷积神经网络的损失值的计算,所述图像转换模块包括:第一模块和第二模块,所述第一模块用于将所述三维图像参数转换为风格化的三维图像,所述第二模块用于将所述风格化的三维图像转换成预测风格图;

将所述样本集中选取的样本的二维原图输入所述风格迁移网络,得到所述卷积神经网络预测的三维图像参数;

基于所述预测的三维图像参数和选取的样本中的风格化图,训练所述卷积神经网络;

所述基于所述预测的三维图像参数和选取的样本中的风格化图,训练所述卷积神经网络包括:基于所述预测的三维图像参数,生成所述预测风格图;基于所述预测风格图和选取的样本中的风格化图,训练所述卷积神经网络;

响应于确定所述卷积神经网络满足训练完成条件,将所述风格迁移网络作为风格迁移模型。

2.根据权利要求1所述的方法,所述方法还包括:

响应于确定所述卷积神经网络不满足训练完成条件,则调整所述卷积神经网络中的相关参数使得所述卷积神经网络的损失值收敛,基于调整后的卷积神经网络,继续训练调整后的卷积神经网络。

3.根据权利要求1所述的方法,其中,所述样本中风格化图的采用以下方式得到:将所述样本中的二维原图输入已训练完成的风格转化模型,得到与所述二维原图对应的风格化图,所述风格转化模型用于表征二维图像与风格化的三维图像参数之间的关系。

4.根据权利要求1‑3之一所述的方法,其中,所述预测的三维图像参数为预测的混合形状系数,所述基于所述预测的三维图像参数,生成预测风格图,包括:基于所述预测的混合形状系数和预设的风格化基底,生成三维网格图;

将所述三维网格图输入可微渲染器,生成预测风格图。

5.根据权利要求1‑3之一所述的方法,其中,所述预测的三维图像参数为预测的风格化基底,所述基于所述预测的三维图像参数,生成预测风格图,包括:基于预设的混合形状系数和所述预测的风格化基底,生成三维网格图;

将所述三维网格图输入可微渲染器,生成预测风格图。

6.根据权利要求1‑3之一所述的方法,其中,所述预测的三维图像参数为预测的三维网格参数,所述基于所述预测的三维图像参数,生成预测风格图,包括:基于所述预测的三维网格参数,生成三维网格图;

将所述三维网格图输入可微渲染器,生成预测风格图。

7.一种风格迁移方法,所述方法包括:

获取待进行风格化的人脸图像;

将所述人脸图像输入采用如权利要求1‑6中任一项所述的方法生成的风格迁移模型中,输出所述人脸图像的风格化结果。

8.一种风格迁移模型训练装置,所述装置包括:

样本获取单元,被配置成获取预置的样本集,所述样本集包括至少一个样本,所述样本包括二维原图和与所述二维原图对应的风格化图;

网络获取单元,被配置成获取预先建立的包括卷积神经网络和图像转换模块的风格迁移网络,所述卷积神经网络用于表征二维图像与风格化的三维图像参数之间的关系,所述图像转换模块用于传递所述卷积神经网络的反向传播梯度,且不参与所述卷积神经网络的损失值的计算,所述图像转换模块包括:第一模块和第二模块,所述第一模块用于将所述三维图像参数转换为风格化的三维图像,所述第二模块用于将所述风格化的三维图像转换成预测风格图;

选取单元,被配置成将所述样本集中选取的样本的二维原图输入所述风格迁移网络,得到所述卷积神经网络预测的三维图像参数;

训练单元,被配置成基于所述预测的三维图像参数和选取的样本中的风格化图,训练所述卷积神经网络;所述训练单元进一步被配置成:基于所述预测的三维图像参数,生成所述预测风格图;基于所述预测风格图和选取的样本中的风格化图,训练所述卷积神经网络;

输出单元,被配置成响应于确定所述卷积神经网络满足训练完成条件,将所述风格迁移网络作为风格迁移模型。

9.根据权利要求8所述的装置,所述装置还包括:

调整单元,被配置成响应于确定所述卷积神经网络不满足训练完成条件,则调整所述卷积神经网络中的相关参数使得所述卷积神经网络的损失值收敛,所述选取单元、所述训练单元、所述输出单元基于调整后的卷积神经网络,继续训练调整后的卷积神经网络。

10.根据权利要求8所述的装置,其中,所述样本中风格化图通过风格转化单元得到:所述风格转化单元,被配置成将所述样本中的二维原图输入已训练完成的风格转化模型,得到与所述二维原图对应的风格化图。

11.根据权利要求8‑10之一所述的装置,其中,所述预测的三维图像参数为预测的混合形状系数,所述训练单元包括:第一网格生成模块,被配置成基于所述预测的混合形状系数和预设的风格化基底,生成三维网格图;

第一风格生成模块,被配置成将所述三维网格图输入可微渲染器,生成预测风格图。

12.根据权利要求8‑10之一所述的装置,其中,所述预测的三维图像参数为预测的风格化基底,所述训练单元包括:第二网格生成模块,被配置成基于预设的混合形状系数和所述预测的风格化基底,生成三维网格图;

第二风格生成模块,被配置成将所述三维网格图输入可微渲染器,生成预测风格图。

13.根据权利要求8‑10之一所述的装置,其中,所述预测的三维图像参数为预测的三维网格参数,所述训练单元包括:第三网格生成模块,被配置成基于所述预测的三维网格参数,生成三维网格图;

第三风格生成模块,被配置成将所述三维网格图输入可微渲染器,生成预测风格图。

14.一种风格迁移装置,所述装置包括:

获取单元,被配置成获取待进行风格化的人脸图像;

转换单元,被配置成将所述人脸图像输入采用如权利要求1‑6中任一项所述的方法生成的风格迁移模型中,输出所述人脸图像的风格化结果。

15.一种电子设备,其特征在于,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1‑7中任一项所述的方法。

17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1‑7中任一项所述的方法。