1.一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,具体按以下步骤实施:
步骤1,数据预处理;
步骤2,构建基于多尺度残差注意力的特征提取模块;
步骤3,构建基于残差注意力的特征增强模块及重建模块。
2.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤1中数据预处理具体按以下步骤实施:步骤1.1,采用DIV2K的1‑800号图像作为训练数据集,801‑810号图像作为验证数据集,Set5、Set14、B100以及Urban100作为测试数据集,并对训练数据集图像进行随机水平旋转或竖直旋转进行数据扩充;
步骤1.2,通过卷积代替双三次线性插值方法进行下采样,生成2倍、3倍和4倍缩放因子下的低分辨率图像,分别用于2倍、3倍和4倍超分辨重建模型的训练、及测试;
设O是输出尺寸,W是图片大小,K是过滤器尺寸,P是填充,S是步幅,对原始图像进行下采样操作,计算公式如式(1)所示:步骤1.3,将步骤1.2生成的低分辨率图像作为输入,将其裁剪为48×48大小的块作为网络输入的RGB图像,对输入RGB图像的三个通道减去均值向量,假设原张量为(x,y,z),减去均值向量后的张量为(x′,y′,z′),如式(2)所示:
3.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤2中构建基于多尺度残差注意力的特征提取模块具体按以下步骤实施:步骤2.1,构建基于子空间蓝图卷积的特征提取模块对图像进行初次特征提取;
步骤2.2,构建多尺度特征提取模块进行图像特征的二次提取;
步骤2.3,构建通道注意力模块CAM,在特征映射中进行自适应特征细化,根据细节纹理的重要度分配不同的权重比。
4.根据权利要求3所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤2.1对图像进行初次特征提取具体按以下步骤实施:步骤2.1.1,以点卷积与深度卷积为基础,构建子通道蓝图卷积模块,具体步骤如下:步骤2.1.1.1,对于标准CNN,假设输入张量为大小为M×Y×X的U,则U通过大小为M×K(1) (N)
×K的卷积核F ,...,F 生成N×Y×X的V,如式(3)所示:(n)
Vn,:,:=U*F (3)步骤2.1.1.2,点卷积层所使用的参数矩阵W的行与行之间存在高度关联,因此将该权重矩阵分解,分解为一个大小为NxM′的矩阵 和另一个大小为M×M′矩阵如式(4)所示:
A B
W=W·W (4)其中 p∈(0.0,1.0),p取0.5;
步骤2.1.1.3,矩阵通过添加正交约束来减少参数之间的相互关联,如式(5)所示:式中,W为单位矩阵,是Frobenius范数;
步骤2.1.2,构建特征提取模块,首先经过第一次带有正交约束的点卷积层后生成图像U’,通道数由M变为M’,再经过一次点卷积,通道数调整为最终需要的N;之后经过K*K的卷积核进行深度卷积,生成图像V,Shape为N*Y*X,最后经过PReLU函数进行特征激活。
5.根据权利要求3所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤2.2中图像特征的二次提取具体按以下步骤实施:步骤2.2.1,构建三个旁路P、M和N,分别使用1、3和5的卷积核大小,此处卷积使用步骤
2.1构建的子通道蓝图卷积,进行特征初次提取,如下式所示:式中w和b分别表示权重和偏置,上标表示它们所在的层数,下标表示层中使用的卷积核的大小,σ(x)=max(0,x)代表ReLU激活函数;
步骤2.2.2,由M1和N1提取的双尺度特征采用级联进行特征融合,输出作为M2和N2的输入;
步骤2.2.3,将M2和N2卷积的通道数增加一倍,最后对P,M2和N2的输出进行特征融合,并对三个尺度的低维特征进行两次融合,如下式所示:式中,[M1,N1],[N1,M1],[M2,N2,P]代表特征堆叠操作;
步骤2.2.4,采用1×1卷积自适应提取特征,最终采用局部残差连接到Fn‑1和Fn,如下式所示:
6.根据权利要求3所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤2.3具体按以下步骤实施:步骤2.3.1,对输入特征图做自适应平均池化,得到一个1*1*C的通道描述Favg;
步骤2.3.2,对输入特征图做自适应最大池化,得到一个1*1*C的通道描述Fmax;
步骤2.3.3,分别对Favg与Fmax采用1*1卷积进行降维,将通道数由56调整为14,并使用ReLU函数进行激活;再采用1*1卷积进行升维,将通道数恢复至56;
步骤2.3.4,将Favg与Fmax经步骤2.3.3处理后的结果进行相加,并经过Sigmoid激活,最后输出Mc(F),如下式所示:
步骤2.3.5,将权重系数和原来的特征F相乘即可得到缩放后的新特征,从而根据细节纹理的重要度分配不同的权重比。
7.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤3构建基于残差注意力的特征增强模块及重建模块具体按以下步骤实施:步骤3.1,通过1*1卷积进行降维,将原输入通道数d压缩至s(s<
步骤3.2,构建残差注意力映射块RCSB,将低维空间特征信息映射到高维空间;
步骤3.3,通过1*1卷积进行升维,通道数由s恢复至d,并加入通道注意力块;
步骤3.4,构建特征重建模块进行超分辨重建;
步骤3.5,对输入图像的RGB通道加上均值向量,输出RGB图像,设原张量为(x,y,z),加上均值向量后的张量为(x′,y′,z′),计算公式如下:步骤3.6,设置训练超参,通过峰值信噪比与结构相似度作为评价指标,进行模型的训练与测试。
8.根据权利要求6或7所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤3.2中,构建残差注意力映射块RCSB,将低维空间特征信息映射到高维空间具体按以下步骤实施:
步骤3.2.1,第一层为一个3*3卷积,输入通道为12,输出通道为12;
步骤3.2.2,第二层为一个3*3卷积,输入通道为12,输出通道为12;
步骤3.2.3,第三层将步骤3.2.2的输出与重建倍数因子进行矩阵乘法,实现低维空间到高维空间的特征映射;
步骤3.2.4,构建恒等映射,最后将原始输入与步骤3.2.3的输出进行相加;
步骤3.2.5,根据步骤2.3构建通道注意力块,进行通道特征权重分配。
9.根据权利要求7所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤3.4中构建特征重建模块进行超分辨重建具体按以下步骤实施:步骤3.4.1,通过深度可分离卷积将张量大小调整为X×Y×d;
2
步骤3.4.2,通过一个1×1卷积将通道数由d调整为rd,其中r为缩放倍数,r=(2,3,4);
步骤3.4.3,采用亚像素卷积操作将地分辨率图像重建为rX×rY的高分辨率图;
步骤3.4.4,通过3×3卷积将通道数恢复至三通道。
10.根据权利要求7所述的一种基于多尺度残差注意力的超分辨率重建方法,其特征在于,所述步骤3.6具体按以下步骤实施:步骤3.6.1,MDSRN模型将s设置为20,d设置为64,RCSB个数为64;初始学习率设为2×10‑4
,batchsize设为16,epoch设为1000,优化器采用Adam,其中β1=0.9,β2=0.999,以及∈=‑8
10 ,损失函数采用L1损失,采用峰值信噪比(PSNR)与结构相似度(SSIM)作为评价指标来评估重建图像质量;
步骤3.6.2,将2倍放大因子训练完成后的模型参数及权重作为3倍、4倍放大因子模型训练的预训练权重,从而加快收敛速度。