1.一种基于背景风格迁移的图像和谐化方法,其特征在于,包括:获取待优化的合成图像,以及所对应的背景图像、前景掩膜;
利用第一编码器‑第一解码器提取待优化的合成图像的多尺度特征,将前景掩膜与第一编码器‑第一解码器所提取的多尺度特征进行运算,得到多尺度前景语义特征;
利用第二编码器提取所述背景图像的背景风格特征;
将所提取的背景风格特征与多尺度前景语义特征进行背景风格迁移操作;
其中,背景风格迁移操作为:将所提取的背景风格特征分别与多尺度前景语义特征进行拼接,得到融合特征;
将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作,得到前景语义固定、前景风格改变的和谐化前景特征;
将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接,得到和谐化图像。
2.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,所述第一编码器‑第一解码器采用U‑Net网络,在U‑Net网络的第一解码器的层与层之间均进行背景风格迁移操作。
3.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,将背景风格特征与所对应尺度的前景语义特征进行拼接,然后利用线性变换得到融合特征。
4.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作,得到前景语义固定、前景风格改变的和谐化前景特征,具体为:根据所述融合特征计算融合特征的通道均值和通道方差;
将融合特征所对应尺度的前景语义特征与融合特征的通道方差相乘,将相乘结果与融合特征的通道均值相加,得到前景语义固定、前景风格改变的和谐化前景特征。
5.如权利要求4所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,根据所述融合特征计算融合特征的通道均值和方差,具体为:根据前景语义卷积特征的通道均值以及背景风格特征的通道均值,利用线性变换得到融合特征的通道均值;
根据前景语义卷积特征的通道方差以及背景风格特征的通道方差,利用线性变换得到融合特征的通道方差。
6.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接,得到和谐化图像,具体为:将所述和谐化前景特征、所述和谐化前景特征对应的前景掩膜进行第一相乘操作,所述和谐化前景特征所对应的第一解码器所提取的待优化合成图像的卷积特征、1与所述和谐化前景特征对应的前景掩膜之差进行第二相乘操作;
将第一相乘操作的结果与第二相乘操作的结果相加,进而得到和谐化图像。
7.如权利要求2所述的一种基于背景风格迁移的图像和谐化方法,其特征在于,所述第一编码器的最后三层每一层后面添加注意力块,将注意力块前的第一编码器层所输出的卷积特征通过二维卷积层得到注意力权重图;将注意力块前的第一编码器层所输出的卷积特征与所对应的注意力权重图相乘得到注意力块所输出的注意力加权的卷积特征。
8.一种基于背景风格迁移的图像和谐化系统,其特征在于,包括:获取单元,用于获取待优化的合成图像,以及所对应的背景图像、前景掩膜;
第一提取单元,利用第一编码器‑第一解码器提取待优化的合成图像的多尺度特征,将前景掩膜与第一编码器‑第一解码器所提取的多尺度特征进行运算,得到多尺度前景语义特征;
第二提取单元用于:利用第二编码器提取所述背景图像的背景风格特征;
迁移单元,用于将所提取的背景风格特征与多尺度前景语义特征进行背景风格迁移操作;
所述迁移单元包括:
融合单元,用于将所提取的背景风格特征分别与多尺度前景语义特征进行拼接,得到融合特征;
归一化单元,用于将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作,得到前景语义固定、前景风格改变的和谐化前景特征;
拼接单元:将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接,得到和谐化图像。
9.如权利要求8所述的一种基于背景风格迁移的图像和谐化系统,其特征在于,所述归一化单元包括:第一计算单元,用于根据所述融合特征计算融合特征的通道均值和通道方差;
第二计算单元:将融合特征所对应尺度的前景语义特征与融合特征的通道方差相乘,将相乘结果与融合特征的通道均值相加,得到前景语义固定、前景风格改变的和谐化前景特征。
10.如权利要求8所述的一种基于背景风格迁移的图像和谐化系统,其特征在于,所述拼接单元包括:第三计算单元:用于将所述和谐化前景特征与待优化合成图像的前景掩膜进行第一相乘操作,第四计算单元,用于将所述和谐化前景特征所对应的第一解码器所提取的待优化合成图像的卷积特征、1与所述和谐化前景特征对应的前景掩膜之差第二相乘操作;
第五计算单元,用于将第一相乘操作的结果与第二相乘操作的结果相加,进而得到和谐化图像。