1.基于神经网络的图像风格迁移方法,其特征是,包括:
将待转换的内容图像输入到VGG网络中,提取网络各个池化层的内容特征图;将风格样本图像输入到VGG网络中,提取网络各个池化层的风格特征图;
在VGG网络的第i池化层,利用该层的内容特征图与该层的风格特征图通过特征匹配搜索合成该层目标特征图;
对第i层目标特征图进行上采样,得到第i‑1层初始特征图,以第i‑1层内容特征图为约束,以第i‑1层风格特征图作为样本,在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;i为正整数;i>1;
判断i‑1是否等于设定值,如果是,就将第i‑1层目标特征图作为最终目标特征图,进入下一步;如果否,就对i进行减1处理,继续对返回上一步;
对最终目标特征图进行逆变换,得到风格迁移后的图像;
以第i‑1层内容特征图为约束,以第i‑1层风格特征图作为样本,在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;具体步骤包括:按行依次处理第i‑1层初始特征图上的每个特征点;将每个特征点依次作为待合成点;
计算第i‑1层初始特征图上当前待合成点与候选点集合中的所有候选点之间的内容匹配误差和风格纹理误差;
根据内容匹配误差和风格纹理误差,得到每个候选点的总误差;
选择总误差最小的候选点,作为待合成点的最佳采样点;
将待合成点的最佳采样点在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;
候选点集合的构建步骤包括:根据第i‑1层初始特征图上当前待合成点的L形邻域内已合成的特征点与当前点的位置偏移,找到第i‑1层风格特征图上相同位置偏移的点作为候选点,所有候选点构成了一个候选点集合。
2.如权利要求1所述的方法,其特征是,将待转换的内容图像输入到VGG网络中,提取网络各个池化层的内容特征图;具体步骤包括:将待转换的内容图像输入到VGG19网络中,得到VGG19网络的第1池化层、第2池化层、第
3池化层和第4池化层上的内容特征图。
3.如权利要求1所述的方法,其特征是,将风格样本图像输入到VGG网络中,提取网络各个池化层的风格特征图;具体步骤包括:将风格图像输入到VGG19网络中,得到VGG19网络的第1池化层、第2池化层、第3池化层和第4池化层上的风格特征图。
4.如权利要求1所述的方法,其特征是,在VGG网络的第i池化层,利用该层的内容特征图与该层的风格特征图通过特征匹配搜索合成该层目标特征图;
具体步骤包括:
对第i池化层内容特征图上的每个特征点,依次采用贪婪搜索算法在第i池化层风格特征图上搜索与第i池化层内容特征图当前点相匹配的若干特征点;
从得到的匹配的若干特征点中,随机选择一个特征点作为当前特征点的采样点,并将该采样点复制到目标特征图上对应的点位置,所有点处理完成后得到第i池化层的目标特征图。
5.如权利要求1所述的方法,其特征是,所述内容匹配误差,采用方形邻域内的特征误差计算:选取初始特征图上当前待合成点周围的一块方形特征图块,与当前待合成点的所有候选点在风格特征图上的方形邻域比较,计算其余弦距离,计算如下:其中, 为当前待合成点p与候选点j的内容误差;xs、xc分别表示风格特征图、内容特征图,对于当前待合成点p和候选点集合中的某个候选点j, 为内容特征图xc在点p处的方形邻域特征块; 为候选点j在风格特征图xs上的方形邻域特征块,NB表示方形邻域;号·表示向量的点积运算。
6.如权利要求1所述的方法,其特征是,所述风格纹理误差,采用L形邻域内的特征误差:选取初始特征图上当前待合成点的L形邻域内的特征点,与当前待合成点的所有候选点在风格特征图上的L形邻域比较,计算其余弦距离,计算如下:其中, 为当前待合成点p与候选点j的风格误差;表示目标特征图,NL表示L形邻域,其他符号的意义同上;
进一步地,所述总误差的计算公式为:
其中,w为均衡内容特征表达和风格特征表达的权值;
采用内容匹配误差和风格纹理误差共同衡量采样点的特征匹配度;合成点p的最佳采样点NN(P)为总误差最小的特征点。
7.基于神经网络的图像风格迁移系统,其特征是,包括:
提取模块,其被配置为:将待转换的内容图像输入到VGG网络中,提取网络各个池化层的内容特征图;将风格样本图像输入到VGG网络中,提取网络各个池化层的风格特征图;
目标特征图合成模块,其被配置为:在VGG网络的第i池化层,利用该层的内容特征图与该层的风格特征图通过特征匹配搜索合成该层目标特征图;
逐点合成模块,其被配置为:对第i层目标特征图进行上采样,得到第i‑1层初始特征图,以第i‑1层内容特征图为约束,以第i‑1层风格特征图作为样本,在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;i为正整数;i>1;
判断模块,其被配置为:判断i‑1是否等于设定值,如果是,就将第i‑1层目标特征图作为最终目标特征图,进入逆变换模块;如果否,就对i进行减1处理,继续返回逐点合成模块;
逆变换模块,其被配置为:对最终目标特征图进行逆变换,得到风格迁移后的图像;
以第i‑1层内容特征图为约束,以第i‑1层风格特征图作为样本,在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;具体步骤包括:按行依次处理第i‑1层初始特征图上的每个特征点;将每个特征点依次作为待合成点;
计算第i‑1层初始特征图上当前待合成点与候选点集合中的所有候选点之间的内容匹配误差和风格纹理误差;
根据内容匹配误差和风格纹理误差,得到每个候选点的总误差;
选择总误差最小的候选点,作为待合成点的最佳采样点;
将待合成点的最佳采样点在第i‑1层初始特征图上进行逐点合成,得到第i‑1层目标特征图;
候选点集合的构建步骤包括:根据第i‑1层初始特征图上当前待合成点的L形邻域内已合成的特征点与当前点的位置偏移,找到第i‑1层风格特征图上相同位置偏移的点作为候选点,所有候选点构成了一个候选点集合。
8.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1‑6任一项所述的方法。
9.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑6任一项所述的方法。