1.基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,具体按照以下步骤实施:步骤1,创建字体样本数据集,确定出相关的源字体样本和目标字体样本,对样本数据集进行预处理,选择出相应的训练集和测试集;
步骤2,搭建生成网络模型,生成网络模型由编码器、残差块、解码器组成,生成网络模型的输入层包括源字体图片和标签字体图片,将目标字体图片作为标签字体图片;生成网络模型的输出层为目标字体图片;
步骤3,搭建判别网络模型,判别器的输入为步骤2中生成的目标风格字体图片以及源目标字体图片,判别器对生成目标字体图片和与之对应的目标字体图片做真假判别;
步骤4,搭建整体网络模型,将源字体域作为X域,目标字体域作为Y域,整体网络模型由两个生成器GX2Y和GY2X与两个判别器DX和DY组成,构成了一种双向环状结构,实现了两种不同风格字体之间的相互转换;
步骤5,构造损失函数,条件循环一致性损失函数同时学习两个生成器GX2Y和GY2X的映射,实现GY2X(GX2Y(x|Ly))≈x和GX2Y(GY2X(y|Lx))≈y;条件对抗损失函数使生成域图像的分布和源域图像点的数据分布相匹配;
步骤6,利用3000对源‑目标字体图片数据集对条件循环一致性生成对抗网络进行训练,得到训练后的字体风格迁移模型;通过剩余的字体图片对模型进行测试,检验模型的生成效果;
步骤7,进行字体风格转换,将源字体图片输入到字体风格迁移网络中,输出相应风格模型下的目标风格字体图片。
2.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤1中,具体步骤如下:步骤1.1,对TrueType字库进行处理来构建样本数据集,将其处理为GB2312所对应的样本字体图片;
步骤1.2,对样本字体图片做归一化处理和降噪处理,每种样本字体图片都预处理为
64*64大小的png格式的灰度图像;
步骤1.3,选择标准的印刷体宋体作为源字体图片,其余的字体作为目标字体图片;
步骤1.4,选择每种字体中的3000个字符图片作为训练集,其余字符图片作为测试集。
3.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤2中,生成网络模型的搭建步骤如下:第一层卷积模块,输入为源字体图片和标签字体图片,输出尺度为1*256*256*64,卷积核大小为7*7,步长为1,批量标准化,Relu激活函数;
第二层卷积模块,输入第一层的输出特征,输出尺度为1*128*128*128,卷积核大小为
3*3,步长为2,BatchNorm批量标准化,Relu激活函数;
第三层卷积模块,输入第二层的输出特征,输出尺度为1*64*64*256,卷积核大小为3*
3,步长为2,BatchNorm批量标准化,Relu激活函数;
第三层的输出特征依次输入到9个残差块中,输出尺度为1*64*64*256,卷积核大小为
3*3,步长为2;
第一层反卷积模块输入残差块的输出特征,输出尺度为1*128*128*128,卷积核大小为
3*3,步长为2,BatchNorm批量标准化,Relu激活函数;
第二层反卷积模块输入第一层反卷积模块的输出特征,输出尺度为1*256*256*64,卷积核大小为3*3,步长为2,BatchNorm批量标准化,Relu激活函数;
最后一层为卷积模块,输入第二层反卷积模块的输出特征,输出尺度为1*256*256*3,卷积和大小为7*7,步长为1,通过Tanh激活函数得到目标字体图片的输出。
4.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤3中,判别网络模型的搭建步骤包括:第一层卷积模块,输入为目标风格字体图片和源目标字体图片,输出尺度为1*128*
128*64,卷积核大小为4*4,步长为2;
第二层卷积模块输入第一层的输出特征,输出尺度为1*64*64*128,卷积核大小为4*4,步长为2,BatchNorm批量标准化,Lrelu激活函数;
第三层卷积模块输入第二层的输出特征,输出尺度为1*32*32*256,卷积核大小为4*4,步长为2,BatchNorm批量标准化,Lrelu激活函数;
第四层卷积模块输入第三层的输出特征,输出尺度为1*32*32*512,卷积核大小为4*4,步长为1,BatchNorm批量标准化,Lrelu激活函数;
最后一层卷积模块输入第四层的输出特征,输出尺度为1*32*32*1,卷积核大小为4*4,步长为1,通过Sigmoid激活函数输出判别结果。
5.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤4中,整体网络模型的搭建步骤包括:整体网络模型为两个环状的的图像循环生成结构,首先将源域样本映射到目标域,然后再映射回源域得到二次生成图像,分别为X域‑Y域‑X域和Y域‑X域‑Y域两个环状结构,实现两种风格的字体互相生成;
X域‑Y域‑X域:将源字体图片X和标签字体图片Y输入到生成器GX2Y中,通过迁移网络生成Y字体图片,即GX2Y(x|Ly);再将生成字体图片和标签字体图片X输入到生成器GY2X中,通过迁移网络再次生成字体图片X,即GY2X(GX2Y(x|Ly));判别器DY对真实字体图片Y和生成字体图片GX2Y(x|Ly)进行真伪判别,判别器DX对真实字体图片X和生成字体图片GY2X(GX2Y(x|Ly))进行真伪判别;
Y域‑X域‑Y域:将目标字体图片Y和标签字体图片X输入到生成器GY2X中,通过迁移网络生成字体图片X,即GY2X(y|Lx);再将生成字体图片和标签字体图片Y输入到生成器GX2Y中,通过迁移网络再次生成字体图片Y,即GX2Y(GY2X(y|Lx));判别器DY对真实字体图片X和生成字体图片GY2X(y|Lx)进行真伪判别,判别器DY对真实字体图片Y和生成字体图片GX2Y(GY2X(y|Lx))进行真伪判别。
6.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤5中,损失函数具体包括:用均方误差损失函数计算对抗损失,稳定模型的训练的过程;对抗损失的目标函数在原始GAN基础进行改进,X域‑Y域映射损失函数为生成器GX2Y和判别器DY所对应的目标函数,如式(1)所示;
式(1)中,Ex~Pdata(x)表示真实数据x的数学期望;Ey~Pdata(y)表示生成数据y的数学期望;
Y域‑X域映射损失函数为生成器GY2X和判别器DX所对应的目标函数,如式(2)所示;
2 2
LGAN(GY2X,DX,X,Y)=Ex~Pdata(x)[(DX(x)‑1) ]+Ey~Pdata(y)[(1‑DX(GY2X(y|Lx))) ] (2);
条件循环一致性损失函数使用L1范数进行计算,保持两个生成式模型GX2Y和GY2X之间的一致性,如式(3)所示;
条件循环一致性生成对抗网络的总损失函数对上面的目标函数进行加和处理,如式(4)所示;
L(GX2Y,GY2X,DX,DY)=LGAN(GX2Y,DY,X,Y)+LGAN(GY2X,DY,X,Y)+λLcyc(GX2Y,GY2X) (4);
其中,λ表示条件对抗损失和条件循环一致性损失之间的权重参数;
对总的目标函数进行最大最小优化,如式(5)所示;
其中,GX2Y*和GY2X*表示对两个生成网络求出近似最优解。
7.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法,其特征在于,所述步骤6中,训练测试数据为由源字体图片和目标字体图片组成,模型输入图片的尺寸为256*256,迭代次数为200;将损失函数的权重设置为λ=10;训练过程中使用Adma优化算法进行网络参数的优化,找到能够使网络性能最优的参数,并且在参数不断调整的过程中,以1:1的比例交替优化生成器和判别器,且两个网络模型的学习率均设置为
0.0002。