欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201810606345X
申请人: 衡阳师范学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义分割和深度卷积神经网络的肖像风格迁移方法,其特征在于,包括以下步骤:步骤1,选取一张需要进行风格迁移的内容肖像图像和一张作为风格来源的风格肖像图像,并对内容图像和风格图像分别进行语义分割,分割出肖像区域和背景区域,即形成内容图像和风格图像的语义图像;

步骤2,采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型,并以relu5_1为内容约束特征提取层,以relu3_1和relu4_1为风格约束特征提取层;

步骤3,分别为内容约束特征提取层和风格约束特征提取层建立新的特征图;

步骤4,随机生成高斯噪声图像为初始化新图像;

步骤5,根据内容肖像图像的尺寸大小来调整初始化新图像的尺寸;

步骤6,将风格肖像图像、内容图像语义图像和风格图像语义图像均输入到卷积神经网络VGG-19中,再利用马尔可夫随机场,计算内容肖像的语义图像和风格肖像语义图像在风格约束层relu3_1和relu4_1上的风格约束层损失函数;

步骤7,将初始化新图像输入到卷积神经网络VGG-19中,利用马尔可夫随机场模型,计算最终所生成的风格图像在内容约束层relu5_1的内容约束损失函数;

步骤8,综合步骤6和7的结果,得到总的损失函数,并对于不同层,分别采用基于梯度下降法的优化算法生成肖像风格迁移结果,即采用梯度下降法,通过迭代计算生成风格迁移肖像的梯度,并利用总的损失函数,沿负梯度方向逼近原内容肖像和风格肖像,以让每次迭代生成的风格迁移肖像尽可能地分别与原内容肖像和风格肖像相似;

步骤9,重复步骤6-8进行100次迭代,再重复步骤5-8进行3次迭代,输出最终的肖像风格迁移图像;

所述的步骤6中,风格约束层损失函数为:

中, Φ(x)为特征

图,i表示第i个,j表示第j个,将Φ(x)和mc按r*r大小的局部块即local patch进行分割,每个local patch即Ψ(Φ(x)),Ψ(mc),将Φ(x)分割生成p1个local patch,将mc分割生成p2个local patch, 表示风格肖像图像,R表示实数集,wc,hc分别为内容肖像图像的长和宽, 其中R表示实数集,ws,hs分别为内容肖像图像的长和宽,mc表示内容肖像的语义图像,ms表示风格肖像的语义图像,βc为语义内容肖像权重调节参数,βs为语义风格肖像权重调节参数;

表示Ψ*(Φ(x))中的第i个local patch, 表示 中的第i个local patch,而 和 分别表示Ψ*(Φ(xs))或 中与 或

最匹配的一个local patch,k表示语义图像的个数;

其中,local  patch选取规则定义为

2.根据权利要求1所述的方法,其特征在于,所述的步骤1中,首先对内容图像和风格图像进行语义分割,分割出肖像区域和背景区域的语义图像,然后再对肖像区域进一步进行语义分割,分割出人脸,鼻子,眼睛,嘴巴和身体共5个区域作为5个语义图像,最终得到背景、人脸、鼻子、眼睛、嘴巴和身体区域共6个语义图像。

3.根据权利要求2所述的方法,其特征在于,所述的步骤3中,内容约束特征提取层的新特征图为 其中l表示所对应的VGG-19中所在的内容约束特征提取层,即relu5_1, 是内容肖像图像基于VGG19网络模型在内容约束层生成的特征图,βc为语义内容肖像权重调节参数, 表示内容肖像的语义图像,k=1,2,3,4,5,6,βc取值范围[0,200];

风格约束特征提取层的新特征图为 其中l表示所对应的VGG-19中所在的风格约束特征提取层,即relu3_1和relu4_1, 是风格肖像图像基于VGG19网络模型在风格约束层生成的特征图,βs为语义风格肖像权重调节参数, 表示风格肖像的语义图像,k=1,2,3,4,5,6,βs取值范围[0,200]。

4.根据权利要求1所述的方法,其特征在于,所述的步骤5中,将初始化新图像的大小设置为 其中 hc分别为内容肖像图像的长和宽,L为调整图像大小的参数,每次迭代L分别取3、2、1。

5.根据权利要求4所述的方法,其特征在于,所述的步骤7中,内容约束损失函数为Ec(Φ(x),Φ(xc))=||Φ(x)-Φ(xc)||2。

6.根据权利要求5所述的方法,其特征在于,所述的步骤8中,总的损失函数为E(x)=α1Es(Φ(x),Φ(xs),mc,ms)+α2Ec(Φ(x),Φ(xc))其中α1和α2分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数,取值范围为α1∈[0,1],α2∈[0,200]。

7.根据权利要求1所述的方法,其特征在于,所述的步骤8中,所述的基于梯度下降法的优化算法包括以下步骤:(1)初始化,迭代参数i=0,j=m,定义矩阵H并初始化为元素都为1的对角矩阵,允许误差ε=10-5,计算初始梯度g1=▽f(x0),x0为步骤4中随机生成的高斯噪声图像;

(2)如果i<=itr或者如果||▽f(xi+1)||≤10-5,则输出第i次迭代结果xi+1,并结束优化算法;否则转步骤(3);其中itr为最高迭代次数;

(3)定义pi为第i次迭代的负梯度方向pi=-gi;

(4)更新第i次迭代的结果,xi+1=xi+pi;

(5)定义si为上一步的结果xi和本次迭代的结果误差,即si=xi+1-xi,定义yi为上一步的结果梯度的▽f(xi)和本次迭代结果的梯度▽f(xi+1)误差,即yi=▽f(xi+1)-▽f(xi),定义其中T表示矩阵转制;

(6)更新

(7)定义变量q为xi的梯度q=▽f(xi);

(8)j=1迭代计算

取 更新q,q=q-aiyi-j,直到j=m,m为预设的迭代次数;

(9)更新gi,gi=Hiq;

(10)j=1迭代计算

取, 更新gi,gi=gi+si-j(aj-b),直到j=m(11)更新迭代步骤,i=i+1,跳转到步骤(2)。

8.根据权利要求7所述的方法,其特征在于,基于梯度下降法的优化算法中,在执行步骤(5)后,还包括保留最近m次的结果的步骤,如果i>m,则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。