1.一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于:具体包括以下步骤:
S1、通过将编解码单元作为网络基本单元,然后由下采样部分、上采样部分和特征融合部分组成;
S2、在上下采样的部分中融入通道注意力机制作为改进后的编解码单元来作为改进网络单元,其中向下采样由残差卷积块组成,向上采样由反卷积完成,特征融合是通过通道拼接和通道注意力机制来完成;
S3、最终将相同改进后的编解码结构堆叠在一起,组成整体网络的主体部分,同时模块间再采用密集连接的方式,使不同编解码结构之间的特征得到更好的融合,最后经过亚像素卷积层进行上采样,最终得到HR图像。
2.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于:在步骤S1中的编解码单元是由多个编解码模块串行组合连接形成的。
3.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于:在步骤S2中的残差卷积块是采用残差学习来实现的,其通过将学习输出减输入的残差函数来获得,具体公式如下:y=F(x,{ωi})+x,其中F=ω2σ(ω1x) (1)
上述的公式中F()表示超分辨率重建过程中需要拟合的重建函数,σ指代Relu,而Relu代表的是非线性激活函数,使拟合函数具有非线性性而不是单纯的线性拟合,ω1,ω2是通过训练得到的两个串行连接的卷积层的卷积核参数,x代表的是上一层卷积的输出,具体指的是特征图,x不仅作为本层卷积输入,也作为需要恒等映射的值。
4.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于:在步骤S2中的通道注意力机制,其主要由以下几个部分组成,压缩特征的全局平均池化层HGP获取空间上的全局信息,1×1卷积WD进行通道间的特征的压缩,1×1卷积WU进行通道扩张,最后使用Sigmoid激活层的0到1数值来反映每个通道的权重,并重新调整原始输入每个通道的信息分配,通道注意力的公式如下:其中:S表示全局平均池化的操作,H和W分别是特征图的高度和宽度,XC表示按通道对特征图求平均值,c为特征图的通道数,i,j代表的是特征图的第i行和第j列;
Ac(xc)=σS(WUσR(WDS(x)))*x (3)
Ac表示通道注意力的过程,其中σS是Sigmoid激活层(如何获取),σR是Relu激活层的固定非线性函数,WD是1×1卷积用于通道压缩,WU是通道扩张,X代表的是特征图。
5.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于在步骤S3中如何进行密集的方式是:每一层的输入是将之前所有层的输出连接起来,之后将自己的输出传递给之后的所有层。
6.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于:在步骤S2中的下采样部分的具体步骤如下:采用局部残差注意力模块来实现,在两个3*3卷积后添加通道注意力,增加对通道的信息的权重分配能力。
7.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于在步骤S2中的上采样部分的具体步骤如下:同样采用通道注意力机制,首先按通道连接的方式将下采样阶段的特征Si和Fi+1上采样的特征进行融合得到[Si,Fi+1],然后使用1*1卷积融合通道间特征并压缩通道得到Ft,接着通过反卷积Deconv实现上采样得到Fup,最后使用通道注意力CA细化上采样结果得到Fi;其中:Si代指encoder过程中每个阶段最后一层的特征,作为横向连接的特征,Fi+1代指decoder过程中的需要上采样的前一层特征,[Si,Fi+1]是按通道拼接的结果,F是通道压缩后的结果,压缩为网络设定的特征宽度
64,Fup是上采样结果,特征图分辨率是此前的一倍,Deconv是反卷积,CA是通道注意力机制过程,Fi是最后得到的上采样结果。
8.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法,其特征在于在步骤S3中的密集连接的具体方法如下:将当前卷积之前的所有卷积的输出按通道连接在一起作为当前卷积的输入来构成密集连接的过程,即第i层的输入是之前所有层特征的拼接作为输入:xi=Fi([x0,x1,…,xi-1]):其中Xi为第i层的输入,Fi为第i层的卷积操作。