1.基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,具体按照如下步骤实施:
步骤1,从人脸数据集中随机选取N张人脸图像,然后对人脸图像进行预处理,生成训练集和测试集;其中,对人脸图像进行预处理具体为:采用双立方插值算法对训练集中的图像进行下采样,输出尺寸为512×512的插值图像步骤2,采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络,将步骤1预处理后的人脸图像进行处理生成语义分割概率图;
步骤3,构建用于训练的生成对抗网络模型,所述生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块,所述跨尺度特征集成模块内引入图像上采样的亚像素卷积层,所述生成对抗网络模型引入对抗损失函数和感知损失函数;
步骤4,将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中,设置参数,训练并达到收敛,具体为:步骤4.1,设置训练参数,将训练和测试输入图像
步骤4.2,语义分割概率图中间条件生成模块将训练和测试输入图像
步骤4.3,前层特征图和语义信息中间条件
步骤4.4,将步骤4.3中输出特征图F1输入到跨尺度集成模块中,得到不同尺度特征,然后将不同尺度特征输入至融合输出模块,得到超分辨图像,记为步骤4.5,将超分辨图像
步骤4.6,不断迭代步骤4.4-4.5,使得对抗损失和感知损失的总和达到最小,然后将对应的参数作为训练好的模型参数,得到训练好的生成对抗网络模型;
步骤5,将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中,得到超分辨重建后的高分辨图像。
2.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述步骤1中的人脸数据集为CelebA-HQ人脸数据集。
3.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述步骤2具体为:采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络,修改人脸解析预训练模型BisNet的输出层,具体为:在人脸解析预训练模型BisNet的输出层加入softmax函数,将步骤1得到的语义分割网络输入图像
4.根据权利要求3所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述语义分割概率图中间条件生成模块包括依次连接的五个卷积层,第一个卷积层的输入通道数为19,输出通道数为128,卷积核大小为4×4,卷积步长为4,修正线性单元的负值非零斜率为 0.1;第二个卷积层的输入通道数为128,输出通道数为128,卷积核大小为1×1,卷积步长为4,修正线性单元的负值非零斜率为 0.1;第三个卷积层输入通道数为128,输出通道数为128,卷积核大小为1×1,卷积步长为1,修正线性单元的负值非零斜率为 0.1,第四个卷积层的输入通道数为128,输出通道数为128,卷积核大小为1×1,卷积步长为1;最后再用一个卷积层的输入通道数为128,输出通道数为32,卷积核大小为1×1,卷积步长为1,最后再用一个卷积层输出包含语义信息的中间条件记为所述空间特征变换模块由8个带有空间特征变换层的残差单元组成,每个残差单元由空间特征变换层、卷积层、非线性激活层构成。
5.根据权利要求4所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述步骤4.4中将步骤4.3中输出特征图F1输入到跨尺度集成模块中,得到不同尺度特征具体为:输出特征图F1在跨尺度集成模块中首先经过一个卷积层对维数升高4倍,再经过亚像素卷积对输出特征图F1进行上采样2倍得到特征图F2;同时输出特征图F1通过双立方插值放大2倍后与特征图F2进行通道上的融合,得到特征图F3_1,并向后传递;并且将特征图F2通过一个步长为2的卷积实现缩小两倍后与特征图F1进行通道上的融合,得到特征图F3_2并向后传递;F3_1和F3_2分别输入两个残差特征提取模块,输出的特征图分别记为特征图F4_1和特征图F4_2,特征图F4_1分别通过直接输出得到特征图F5_2、利用步长为2的卷积进行下采样2倍输出得到特征图F5_1,利用双三次插值进行上采样2倍输出得到特征图F5_3;
特征图F4_1利用第二个亚像素上采样2倍,输出特征图F5,然后特征图F5分别直接输出得到F6_3、利用步长为2的卷积进行下采样2倍输出得到F6_2、利用步长为4的卷积进行下采样4倍输出得到F6_1;
F4_2分别直接输出得到F7_1、双三次插值2倍得到F7_2、双三次插值4倍得到F7_3;接下来,将同为小尺度的F5_1、F6_1、F7_1进行特征融合后接着输入到由4个残差块构成的特征提取模块中,输出特征图通过插值上采样模块进行4倍放大输出特征图F8_1;同理,将同为中尺度的特征图F5_2、F6_2、F7_2进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中,输出特征图通过插值上采样模块进行2倍放大输出F8_2;将同为大尺度的F5_3、F6_3、F7_3进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中,输出特征图直接输出F8_3。
6.根据权利要求5所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述步骤4.4中将不同尺度特征输入至融合输出模块,得到重建后的超分辨结果具体为:将不同尺度的特征图F8_1、F8_2、F8_3进行特征融合,然后用两个卷积层逐级降维输出得到重建后的超分辨图像,记为
7.根据权利要求6所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法,其特征在于,所述步骤4.6中的感知损失函数为:对抗损失函数为:
其中,