欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017105446008
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于生成式对抗网络的图像风格迁移方法,包括以下步骤:步骤1,生成随机输入:通过对常见概率分布进行采样,得到随机输入矢量z∈Rd;

步骤2,构建生成网络:构建生成网络G(.):Rd→RWxHxC,其中,W,H和C分别表示生成图像G(z)的宽、高和通道数量;

步骤3,构建判别网络:分别构建风格判别网络Dsty和内容判别网络Dcont,其中,风格判别网络Dsty的输入为风格图像xsty或者生成器输出的图像G(z),内容判别网络Dcont的输入为内容图像xcont或者G(z);风格判别网络Dsty和内容判别网络Dcont的输出均为布尔值,即,当判别网络认为输入图像来自真实图像xsty或xcont时,输出1,反之输出0;

步骤4,输入风格图像和内容图像:向风格判别网络Dsty输入任意尺寸的风格图像xsty,进行裁剪和图像去均值预处理;向内容判别网络Dcont输入任意尺寸的内容图像xcont并进行去均值处理;

步骤5,风格和内容的表征学习:利用自编码器的思想分别最小化基于风格和基于内容的重构误差,从而学习风格和内容的有效表征;

5.1依式(1)度量层内特征图之间的相关性,从而获得输入图像的风格表征:其中,hlik和hljk分别表示第l层第i和j个特征图中位置k处神经元的激活值;

5.2依式(2)计算基于风格的重构误差:

其中,wl表示第l层的权重,用于反映第l层重构误差在总重构误差中的比重;

S(G(z))表示生成图像G(z)的风格表示,S(xsty)表示风格图像xsty的风格表示;

5.3依式(3)计算基于内容的重构误差,也即,像素距离:步骤6,对抗训练:风格判别网络Dsty和内容判别网络Dcont分别与生成网络G进行二元零和博弈,即,生成网络G尽可能生成逼真的图像,而风格判别网络Dsty和内容判别网络Dcont分别从风格角度和内容角度准确区分真实图像和生成图像;为了在博弈中胜出,生成网络与判别网络需不断提高各自的生成能力和判别能力,训练的过程实际上是寻找二者的纳什均衡;

6.1依式(4)计算生成网络的对抗损失:

LG_adv=-∑λ1log(Dsty(G(z)))+λ2log(Dcon(G(z)))   (4)

6.2依式(5)计算判别网络的对抗损失:

其中,第一项和第二项分别表示风格判别网络Dsty和内容判别网络Dcont的对抗损失函数,每项中的前半部分表示判别器尽量使自己对真实图片xsty和xcont输出1,后半部分表示尽量对生成图片输出0,从而使得区分图片来源的准确率尽可能高;λ1和λ2分别表示基于风格的对抗网络与基于内容的对抗网络的权重;

步骤7,输出合成图像:

7.1依式(6)计算图像风格迁移的总损失函数:

L=λstyLsty+λcontLcont+λadvLG_adv   (6)其中,λsty,λcont和λadv分别表示基于风格、内容和对抗训练的损失函数在总损失函数中的权重;

7.2依式(7)计算对图片进行更新:

其中,λ是随机梯度下降的步长。