1.一种基于多尺度生成对抗网络的图像超分辨率重建方法,其特征在于,具体步骤为:(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练:A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成,单尺度特征提取子网络采用多个SENet模块组成;
B、确定目标损失函数,完成生成器的预训练过程,提高多尺度生成对抗网络的收敛速度;
(2)多尺度生成对抗网络对图像超分辨率重建:
Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层,单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取,最终该单尺度特征提取子网络输出处理后的特征图;
Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图,然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图;
Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ,直至最后一个单尺度特征提取子网络输出代表高频信息的特征图,即为重构层,然后该特征图与经过上采样处理的LR图像进行像素加权,最终得到图像超分辨率重建的HR图像。
2.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法,其特征在于,所述步骤B的具体步骤为:a:将HR图像下采样对应为若干个LR图像,用于预训练所有由SENet模块组成的单尺度特征提取子网络,该训练过程采用均方差损失作为其目标函数;
b:将多个不同尺度的单尺度特征提取子网络搭建为多层金字塔式生成对抗网络,即MSGAN生成器,用于完成LR图像到HR图像的映射;之后采用均方差损失对生成对抗网络进行调整,使生成对抗网络的整体参数达到局部最优;均方差损失的目标函数具体为:其中,yi和xi为第i个LR和HR训练集对,F(yi;θ)为预测的高分辨率结果;
c:搭建鉴别器结构,输入生成的HR图像和真实HR的图像训练鉴别器,根据鉴别器的对抗损失,更新鉴别器网络;对抗损失的目标函数为:MSGAN生成器预学习出LR图像到HR图像的映射,鉴别器判断输入的真伪,因此,关于对抗损失表示为:ladv(G,D)=Ey,x~p(y,x)[log D(y,x)]+Ey~p(y)[log(1-D(y,G(y)))]其中, 为预测的HR图像输出,y,x分别表示LR图像和HR图像训练对,G为MSGAN生成器,D为鉴别器;
d:将对抗损失与均方差损失进行加权,作为生成器总的损失,更新生成器网络的参数;
加权后的鉴别器和生成器的损失分别定义如下:
ld=ladv
lg=ladv+λlmse;
其中,λ为加权系数;
e:重复步骤c和步骤d,直到训练迭代次数达到初始设置的迭代次数。
3.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法,其特征在于,所述每个单尺度特征提取子网络对图像处理过程为:设定LR输入图像为y,期望得到的HR图像为x;
假设第i个尺度对应的输入特征图为yi-1,则子网络经过上采样得到的特征图可表示为:其中,Du(·)表示的是上采样卷积函数;输出的特征图 经过d个SENet模块,输出表示为:其中, 和 为第d个SENet模块的输入和输出特征图, 为预测的高分辨率输出。
4.根据权利要求2所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法,其特征在于,所述鉴别器由三个卷积层和两个SENet模块以及一个全连接组成。