1.基于多特征融合网络的图像修复方法,其特征在于,包括如下步骤:步骤(1).将待修复图像在通道维度级联掩膜图像,输入到多特征融合生成网络Ga,计算公式为:Tin=fcat(Iin,Im)
步骤(1.1).多特征融合生成网络Ga由编码器和解码器构成;编码器的前两层为5×5卷积层和Relu非线性激活层,计算公式为:步骤(1.2).接下来为5个多级下采样模块,前一层的输出特征图被输入到两个分支,上分支作为短跳跃连接通过一个卷积模块提取低级特征,下分支通过两个卷积模块提取高级特征,将两个分支提取的特征相加作为该模块的输出特征图,计算公式为:步骤(1.3).在解码器中,采用和编码器对应的结构,前5层为多级上采样模块;上一层的输出特征图被输入到两个分支中;其中,上分支为一个卷积模块,包括3×3卷积层和Relu非线性激活层;下分支为两个卷积模块,提取更为抽象的高级特征信息;两个分支提取的特征图相加输入到下一层中,计算公式为:步骤(1.4).接下来的1×1卷积层将多级融合特征 及由长跳跃连接输送的编码器提取的特征 进行自适应融合,计算公式为:
1×1卷积层一方面学习在通道维度对两种特征进行最优化融合,另一方面通过减少通道数能够有效去除冗余信息;
步骤(1.5).采用亚像素方法对特征图进行上采样,计算公式为:其中,fps为周期性洗牌操作,将特征图 中的元素进行重排;
步骤(2).将以上步骤得到的初始修复图像和掩膜图像在通道维度级联,输入到精细多特征融合生成网络Gb中,计算公式为:该网络采用和粗糙多特征融合生成网络Ga相同的结构;首先,通过组合初始修复图像Ia中的修复区域和输入图像中的已知区域得到生成网络Ga的修复图像,在通道维度级联该修复图像和掩膜图像作为精细网络Gb的输入张量;然后重复步骤(1.1)到步骤(1.5),得到精细修复图像Iout;
步骤(3).将精细修复图像及真实图像分别输入到判别网络中,对每幅输入图像提取
124×124的块信息,并判别其真伪;
步骤(4).计算重建损失、结构损失和对抗损失,对两个多特征融合生成网络及判别网络进行优化;
步骤(4.1).首先,采用L1范数确保初始图像修复Ia和细化修复图像Iout和真实图像Ig之间的像素级一致性,计算公式为:Lre=E[||Ia‑Ig||1+||Iout‑Ig||1]步骤(4.2).计算多尺度SSIM损失,提高修复图像中结构信息的清晰度,计算公式为:n‑1
其中,Dn(·)为采用平均池化操作对图像进行降采样,2 为降采样倍数;
步骤(4.3).计算基于最小二乘算法的对抗损失,进一步提升生成图像中的高频信息,计算公式为:其中,D(·)为判别器网络,G(·)为生成器网络,Pr为真实图像分布,Pf为待修复图像分布;常量1为真实图像标签,常量0为生成图像标签;步骤(4.4).将以上三种损失函数通过加权得到整体损失函数,其公式为:L=λrLre+λdLd+λMS_SSIMLMS_SSIM其中,λr=4,λd=2和λMS_SSIM=1分别为重建损失、对抗损失和结构损失的自适应权重。