1.一种基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,包括:
步骤(1):获取低空间分辨率的多光谱图像和高空间分辨率的全色图像;
步骤(2):将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取;
步骤(3):将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取;
步骤(4):将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值,得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作,最终得到高空间分辨率多光谱图像;
所述步骤(4)包括:
步骤(4‑1):将低空间分辨率的多光谱图像和高空间分辨率的全色图像输入融合网络的堆叠模块,得到第一融合特征图f1;
步骤(4‑2):将第一级光谱信息提取网络提取的第一多光谱图像特征图ms1、第一级空间信息提取网络提取的第一全色图像特征图pan1输入融合网络的第一融合块,计算第一多光谱图像特征图ms1和第一全色图像特征图pan1的平均值avg1;将得到的平均值avg1与第一融合特征图f1进行堆叠、卷积处理,得到第二融合特征图f2;
步骤(4‑3):将第二级光谱信息提取网络提取的第二多光谱图像特征图ms2、第二级空间信息提取网络提取的第二全色图像特征图pan2输入融合网络的第二融合块,计算第二多光谱图像特征图ms2和第二全色图像特征图pan2的平均值avg2;将得到的平均值avg2与第二融合特征图f2进行堆叠、卷积处理,得到第三融合特征图f3;
步骤(4‑4):将第三级光谱信息提取网络提取的第三多光谱图像特征图ms3、第三级空间信息提取网络提取的第三全色图像特征图pan3输入融合网络的第三融合块,计算第三多光谱图像特征图ms3和第三全色图像特征图pan3的平均值avg3;将得到的平均值avg3与第三融合特征图f3进行堆叠、卷积处理,得到第四融合特征图f4;
步骤(4‑5):对第四融合特征图f4进行两次卷积操作得到最终的高分辨率多光谱图像H。
2.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,所述步骤(2)之前包括:将低空间分辨率的多光谱图像进行四倍上采样操作得到与高空间分辨率的全色图像P尺寸相同的低空间分辨率的初始多光谱图像LM。
3.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,将低空间分辨率的多光谱图像输入光谱信息提取网络,输出逼近的全色图像。
4.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,将高空间分辨率的全色图像输入空间信息提取网络,输出逼近的低分辨率多光谱图像。
5.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,所述每级光谱信息提取网络包括:两个卷积处理块,每个卷积处理块包括:32个3×3的滤波器,一个批量归一化函数BN和一个激活函数ReLU。
6.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法,其特征在于,每级空间信息提取网络包括:两个卷积处理块,每个卷积处理块包括:32个3×3的滤波器,一个批量归一化函数BN和一个激活函数ReLU。
7.一种基于空谱融合网络的多光谱图像全色锐化系统,其特征在于,包括:
获取模块,其被配置为:获取低空间分辨率的多光谱图像和高空间分辨率的全色图像;
光谱信息提取网络模块,其被配置为:将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取;
空间信息提取网络模块,其被配置为:将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取;
融合网络模块,其被配置为:将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值,得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作,最终得到高空间分辨率多光谱图像;
所述得到高空间分辨率多光谱图像的具体过程包括:
将低空间分辨率的多光谱图像和高空间分辨率的全色图像输入融合网络的堆叠模块,得到第一融合特征图f1;
将第一级光谱信息提取网络提取的第一多光谱图像特征图ms1、第一级空间信息提取网络提取的第一全色图像特征图pan1输入融合网络的第一融合块,计算第一多光谱图像特征图ms1和第一全色图像特征图pan1的平均值avg1;将得到的平均值avg1与第一融合特征图f1进行堆叠、卷积处理,得到第二融合特征图f2;
将第二级光谱信息提取网络提取的第二多光谱图像特征图ms2、第二级空间信息提取网络提取的第二全色图像特征图pan2输入融合网络的第二融合块,计算第二多光谱图像特征图ms2和第二全色图像特征图pan2的平均值avg2;将得到的平均值avg2与第二融合特征图f2进行堆叠、卷积处理,得到第三融合特征图f3;
将第三级光谱信息提取网络提取的第三多光谱图像特征图ms3、第三级空间信息提取网络提取的第三全色图像特征图pan3输入融合网络的第三融合块,计算第三多光谱图像特征图ms3和第三全色图像特征图pan3的平均值avg3;将得到的平均值avg3与第三融合特征图f3进行堆叠、卷积处理,得到第四融合特征图f4;
对第四融合特征图f4进行两次卷积操作得到最终的高分辨率多光谱图像H。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑6中任一项所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑6中任一项所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。