1.一种低分辨率人脸图像超分辨重建方法,其特征在于:包括如下步骤:步骤S10、获取低分辨率人脸图像,采用多级离散小波变换对所述低分辨率人脸图像进行分解,得到子图像;
步骤S20、将各所述子图像输入卷积模块,提取各所述子图像间的第一关联特征;
步骤S30、利用二阶注意力机制对所述第一关联特征进行强化学习,得到第二关联特征;
步骤S40、通过非局部自相似模块增强所述第二关联特征的残差特征,得到第三关联特征;
步骤S50、将所述第三关联特征进行逆小波变换,得到重建的第一人脸图像;
步骤S60、创建一损失函数,利用所述损失函数对第一人脸图像的空间域以及小波域进行双重约束,得到重建的第二人脸图像;
所述步骤S10具体包括:
步骤S11、获取低分辨率人脸图像,设定高分辨率人脸图像的大小,利用双三次插值法将所述低分辨率人脸图像放大至高分辨率人脸图像的大小;
步骤S12、设定多级离散小波变换包括一级离散小波变换、二级离散小波变换以及三级离散小波变换;
步骤S13、利用所述一级离散小波变换对低分辨率人脸图像进行分解,得到四幅第一子图像;利用所述二级离散小波变换分别对各第一子图像进行分解,分别得到四幅第二子图像;利用所述三级离散小波变换分别对各第二子图像进行分解,分别得到四幅第三子图像;
所述第一子图像、第二子图像以及第三子图像的四幅图像分别表示低频域特征的子图像、水平方向的子图像、垂直方向的子图像和对角方向的子图像;
所述步骤S30具体为:
设特征映射F=[F1,F2,...,Fc](W*H*C);其中F表示特征映射,Fc表示特征映射的子集,W*H表示特征映射的大小,C表示特征映射的个数,即通道数;
将特征映射F转变为特征矩阵X(S*C);其中S=W*H;
通过公式 求取X的协方差;其中 I表示大小为S*S的单位矩阵,1表示大小为S*S的全1矩阵;
将Σ进行归一化操作得到 其中α=0.5;
令 压缩 得到通道间第一关联特征的统计值zc:
其中HGCP(·)表示全局协方差池化函数,yc表示第c个特c×1
征;zc∈R ,R表示实数,c×1表示c行1列;p表示第p个特征映射的索引值;
ωc=sigmoid(conv2(Relu(conv1(zc))));
其中ωc表示第c个特征的权重;conv1(·)表示通过向量卷积对输入对象的通道数量进行压缩;conv2(·)表示通过向量卷积对输入对象的通道数量进行扩大;sigmoid(·)表示激活函数;Relu(·)表示线性整流函数; 表示第c个特征的第二关联特征;fc表示第c个特征的第一关联特征;
所述步骤S40具体为:
通过非局部自相似模块将多通道输入M作为图像特征,并生成输出特征ui,即第三关联特征:ui=BN(Wihi)+mi
其中mi表示M中当前关注位置i的特征;mj表示M的全局信息中位置j的特征;θ(mi)=Wθmi, g(mj)=Wgmj,Wθ、 Wg均表示需要学习的权重矩阵,通过1×1卷积得到;
表示归一化操作; 表示计算位置i和j的特征相似度;ui表示当前关注位置i的输出特征;BN(·)表示归一化操作;Wi表示当前关注位置i的输出特征ui要学习的权重。
2.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法,其特征在于:所述步骤S20具体为:分别将每一级所述多级离散小波变换生成的子图像,作为四个通道输入卷积模块,提取各所述子图像间的第一关联特征;
所述卷积模块为四层全卷积网络,每层所述全卷积网络均包括三个滤波器、一个批量归一化单元以及一个校正线性单元。
3.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法,其特征在于:所述步骤S50具体为:将所述一级离散小波变换得到的四幅第一子图像,分别与最后一个卷积模块得到的残差相加,再进行逆小波变换,得到重建的第一人脸图像;所述最后一个卷积模块只使用一层全卷积网络来压缩通道数。
4.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法,其特征在于:所述步骤S60中,所述损失函数具体为:losstotal=λlosswave+(1‑λ)lossimg;
其中losswave表示小波系数损失,lossimg表示图像空间像素损失,λ表示小波系数损失的权重,1‑λ表示图像空间像素损失的权重。