1.一种基于光谱反投影残差的逐步式光谱超分辨率方法,其特征在于,按照以下步骤具体实施:
步骤1、对训练数据进行预处理,
采用的数据集是NTIRE 2020,该数据集里的训练图像由450幅成对的RGB图像、HSI图像组成,空间分辨率为512*482;将成对的RGB、HSI图像随机裁剪成256*256,得到一个450对RGB大小为256*256*3、HSI大小为256*256*31的新训练集;
步骤2、构建光谱重建模块,
该光谱重建模块的输入为原始RGB图像,大小为256*256*3,该光谱重建模块的输出是大小为256*256*8的特征图像I1;
步骤3、构建光谱反投影残差块,
该光谱反投影残差块的输入是步骤2得到的特征图像I1,大小为256*256*8;该光谱反投影残差块的输出是特征图像I2,大小同样为256*256*8;
步骤4、进行光谱超分网络中第二个阶段、第三个阶段的逐步式光谱重建;
步骤5、优化光谱超分网络,
采用平均相对绝对误差计算光谱重建网络训练时的总损失函数,并通过不断地最小化总损失LMRAE来优化提出的光谱重建网络,即成。
2.根据权利要求1所述的基于光谱反投影残差的逐步式光谱超分辨率方法,其特征在于:所述的光谱重建模块的结构流程依次为:原始RGB图像作为输入图像→Conv 3*3层→PReLU层→Conv 3*3层→CSAB层→残差结构层→PReLU层→Conv 3*3层→PReLU层→Conv
3*3层→CSAB层→残差结构层→Conv 3*3层→输出特征图像I1;
其中,每个Conv 3*3层都是卷积运算,卷积核大小为3*3,卷积步长为1,填充值为0,特征映射数为8;三个PReLu层作为激活函数;每个CSAB层的结构流程包括通道注意块和空间注意块,其中通道注意块通过平均池化操作将空间维度的特征压缩,然后经过Conv 1*1‑ReLU‑Conv 1*1‑Sigmoid得到8个0到1之间的标量,再把这些表示特征通道间相关性的标量作为通道的权重并将该权重乘以平均池化前每个特征通道;而空间注意块是通过最大池化操作将通道维度的特征压缩,之后通过Conv 3*3‑ReLU‑Conv 3*3‑Sigmoid操作去利用特征的空间关系来生成空间注意力图,该空间注意力图会对强调或抑制的地方进行编码;双残差结构是通过长和短跳跃连接形成双重残差学习。
3.根据权利要求1所述的基于光谱反投影残差的逐步式光谱超分辨率方法,其特征在于:所述的光谱反投影残差块的结构流程依次为:步骤2输出的特征图像I1作为输入特征→Conv11*1层→计算损失层与原始RGB图像的损失→Conv21*1层→残差结构层→输出为特征图像I2;
其中,Conv11*1层为卷积运算,卷积核大小为1*1,卷积步长为1,填充值为0,特征映射数为3,利用1*1卷积进行光谱下采样将步骤2输出的8通道特征图像反投影成3通道的RGB图像;Conv21*1层为卷积运算,卷积核大小为1*1,卷积步长为1,填充值为0,特征映射数为8,利用1*1卷积进行光谱上采样将反投影的3通道RGB图像恢复成8通道特征图像;残差结构层是将本步骤中光谱上采样后的8通道特征图像与步骤2输出的8通道特征图像进行残差连接,经过残差学习后输出特征图像I2。
4.根据权利要求1所述的基于光谱反投影残差的逐步式光谱超分辨率方法,其特征在于:所述的步骤4中,具体过程是,
第二个阶段、第三个阶段包含的模块以及操作步骤与第一阶段相同,不同的是第二阶段经过光谱重建模块生成的光谱通道数是18,之后在光谱反投影残差块中是将18通道的光谱图像反投影成3通道的RGB图像;而第三阶段是经过光谱重建模块生成31通道的高光谱图像,之后在光谱反投影残差块中是将31通道的高光谱图像反投影成3通道的RGB图像,通过在三个阶段的逐步式光谱重建过程中,将重建的光谱图像反复的投影成RGB图像去不断的细化重建的高光谱图像。
5.根据权利要求1所述的基于光谱反投影残差的逐步式光谱超分辨率方法,其特征在于:所述的步骤5中,本步骤中采用总损失函数,其表达式为:LMRAE=Lrec+LpLrec为高光谱重建损失,其表达式为:其中,N为像素总数, 是高光谱标签图像的第p个像素值, 是高光谱重建图像的第p个像素值;
Lp为反投影细化损失,值得注意的是,Lp=L1+L2+L3指的是三个阶段(Stage1、Stage2、Stage3)的反投影细化损失和,其表达式为:其中,N为像素总数, 是输入原始RGB图像的第p个像素值, 是反投影RGB图像的第p个像素值。