欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019107640340
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于循环生成对抗网络对书法进行风格迁移的方法,其特征在于,具体按照以下步骤实施:

步骤1、在word中制作要迁移的风格A和风格B两种风格的两种字体各n页,输出为图片jpg格式,得到2n张图片,作为训练样本;

步骤2、根据步骤1中的样本,制作两种风格数据集,依次更新生成器权重和判别器权重,得到生成器训练生成的图片和判别器判别真伪的结果;

所述步骤2具体按照以下步骤实施:

步骤2.1、将所述步骤1中有2n张图片的训练样本中的每张图片随机裁出m张i×i大小的图片,得到风格A和风格B的图片各n×m张,图片大小均为i×i,即为所需要的数据集,其中n为裁剪前图片的张数,m为裁剪后图片张数,i为裁剪出的图片的边长;

步骤2.2、设置循环生成对抗网络,由两个对称的生成对抗网络GAN构成一个环形网络,两个生成对抗网络GAN共享两个生成器,并各自带一个判别器,即共有两个生成器,记为生成器G和生成器F,和两个判别器,记为判别器DX和判别器DY,每个生成对抗网络GAN有两个损失函数,分别为生成器的重建损失和判别器的判别损失;

步骤2.3、生成器G负责把步骤2.1中裁剪后的风格A的图片训练成风格B的样子,然后更新重建损失,得到生成图片,判别器DY将步骤2.1中裁剪后的风格B的图片和步骤2.3中生成器G生成图片作为输入,更新判别损失,尝试预测其为原始图片还是生成器的生成图片;

步骤2.4、生成器F负责把步骤2.1中裁剪后的风格B的图片训练成风格A的样子,然后更新重建损失,得到生成图片,判别器DX将步骤2.1中裁剪后的风格A的图片和步骤2.4中生成器F生成图片作为输入,更新判别损失,尝试预测其为原始图片还是生成器的生成图片;

步骤3、将步骤1中制作的训练样本输入步骤2中的判别器和生成器中进行训练更新,经过二者的博弈以后,生成器的伪造技术越来越厉害,判别器的鉴别技术也越来越厉害,直到判别器再也分不出数据是真实的数据还是生成器生成的数据,即对抗的过程达到动态的平衡,得到最后的训练效果,输出风格迁移后的图片。

2.根据权利要求1所述的一种基于循环生成对抗网络对书法进行风格迁移的方法,其特征在于,所述步骤3具体按照以下步骤实施:步骤3.1、选取步骤2.1中裁剪后的任意一张风格A的图片x作为样本输入生成器G中,所输入的图片x经过生成器训练,生成一张风格B的图片y',即G(x)=y';

步骤3.2、选取步骤2.1中裁剪后的任意一张风格B的图片y作为样本输入生成器F中,所输入的图片y经过生成器训练,生成一张风格A的图片x',即F(y)=x';

步骤3.3、创建两个判别器DX和判别器DY:

判别器DX:输入步骤3.2生成的图片x'或步骤2.1中裁剪后的任意一张风格A的图片x,输出16x16矩阵,各个元素越接近0.9,损失函数值越小;

判别器DY:输入步骤3.1生成的图片y'或步骤2.1中裁剪后的任意一张风格B的图片y,输出16x16矩阵,各个元素越接近0.9,损失函数值越小;

损失函数值越小,说明该网络训练生成的图片越接近目标图片,即风格迁移越成功。

3.根据权利要求2所述的一种基于循环生成对抗网络对书法进行风格迁移的方法,其特征在于,所述步骤3.3中损失函数具体计算如下:步骤3.3.1、判别器DY损失函数:将步骤3.2中风格B的图片y输入到判别器DY中,输出概率值DY(y);将步骤3.1中生成图片y'即图片G(x)输入到判别器DY中,输出概率值DY(G(x)),其对抗损失函数表示为:LGAN(G,DY,X,Y)=Ey~pdata(y)[logDY(y)]+Ex~pdata(x)[log(1‑DY(G(x)))],LGAN(G,DY,X,Y)表示整个判别器DY的损失函数,其中,Ey~pdata(y)表示风格B的图片y服从真实数据概率分布的期望;Ex~pdata(x)表示生成图片y'即图片G(x)服从生成数据概率分布的期望;DY(y)表示图片y输入判别器后的输出值,该输出值表示该图片为真实图片的概率;DY(G(x))表示生成图片y'即图片G(x)输入判别器后的输出值,该输出值表示该图片为真实图片的概率;

当DY(y)≈DY(G(x)),则y≈G(x),经过生成器G训练后的图片y'即图片G(x)为风格转移后的图片,则生成器G训练完成;

步骤3.3.2,判别器DX损失函数:将步骤3.1中风格A的图片x输入到判别器DX中,输出概率值DX(x);将步骤3.2中生成图片x'即图片F(x)输入到判别器DX中,输出概率值DX(F(y)),其对抗损失函数如下所示:LGAN(F,DX,Y,X)=Ex~pdata(x)[logDX(x)]+Ey~pdata(y)[log(1‑DX(F(y)))]LGAN(F,DX,Y,X)表示整个判别器DX的损失函数,其中,Ex~pdata(x)表示图片x服从真实数据概率分布的期望;Ey~pdata(y)表示生成图片x'即图片F(y)服从生成数据概率分布的期望;DX(x)表示图片x输入判别器后的输出值,该输出值表示该图片为真实图片的概率;DX(F(y))表示图片x'即图片G(y)输入判别器后的输出值,该输出值表示该图片为真实图片的概率;

当DX(x)≈DX(F(y)),则x≈F(y),经过生成器F训练后的图片x'即图片F(y)为风格转移后的图片,则生成器F训练完成;

步骤3.3.3、循环一致性损失:把步骤3.1中生成的图片y'即图片G(x)再经过生成器F训练,得到图片F(G(x));把步骤3.2中生成的图片x'即图片F(y)再经过生成器G训练,得到图片G(F(y));循环一致性损失定义如下所示:Lcyc(F,G,X,Y)=Ex~pdata(x)[||F(G(x))‑x||1]+Ey~pdata(y)[||G(F(y))‑y||1]其中,F(G(x))是步骤3.1中的图片x通过生成器G生成的图片y'再通过生成器F训练出来的图片,G(F(y))是步骤3.2中的图片y通过生成器F生成的图片x'再通过生成器G训练出来的图片;||F(G(x))‑x||1表示通过两次生成器训练生成的图片F(G(x))与原风格A的图片x做均方误差,||G(F(y))‑y||1是通过两次生成器训练生成的图片G(F(y))与原风格B的图片y做均方误差,值越小说明训练生成的图片效果越好;

步骤3.3.4、最终的损失函数为步骤3.3.1中判别器损失、步骤3.3.2中判别器损失和步骤3.3.3中循环一致性损失的总和,表示如下:Ltotal=LGAN(F,DY,X,Y)+LGAN(G,DX,X,Y)+λLcyc(F,G,X,F)其中λ为常数,Ltotal表示图片风格迁移效果的总体损失,损失值越小表明训练越成功,也就是训练生成的图片风格越接近目标图片风格。

4.根据权利要求3所述的一种基于循环生成对抗网络对书法进行风格迁移的方法,其特征在于,λ=10。