欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2024105564019
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-03-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于生成对抗网络的遥感图像去雾方法,其特征在于,包括以下步骤:S1、构建用于训练的有雾遥感图像数据集;

S2、搭建用于遥感图像去雾的注意力引导的残差融合对抗生成网络;

搭建用于遥感图像去雾的注意力引导的残差融合对抗生成网络ARF-GAN(Attention-guided residual fusion adversarial generative network);

搭建用于生成接近真实图像的无雾遥感图像的生成器,该生成器能够学习从模糊遥感图像到其对应的真实无雾遥感图像的映射,生成器有由能够提取有雾遥感图像特征的跳跃残差融合块组合成的上采样编码器、下采样解码器和能分区域、分程度去雾的通道注意力引导机制;

搭建用于帮助生成器达到最好拟合状态的判别器,将生成器的输出与其真实无雾遥感图像一起作为输入提供给判别器以供比较,判别器再把对的质量判别打分反馈给生成器;

具体步骤如下:

S2.1、构建用于提取有雾遥感图像特征的跳跃残差融合块具体步骤如下:S2.1.1、搭建一个CRB模块,输入该模块的遥感特征图Input依次进行卷积核大小为3×3、步长为1、填充为1的Conv卷积运算、ReLU激活函数的非线性化增强和BatchNormalization批归一化的处理,然后输出分辨率不变的特征图F1,通道数是输入跳跃残差融合块的特征图Input的四分之一;

S2.1.2、连续搭建三个CRB模块,然后进行残差连接,使三个CRB模块以相同空间分辨率,将Input和所有先前的CRB模块的输出在通道维度拼接(Concatenate),拼接好后的特征图作为该CRB模块的输入,经过第二、第三个和第四个CRB模块处理后输出空间分辨率不变、通道数为Input的四分之一的融合特征图,记为F2、F3和F4;

S2.1.3、最后进行特征图连接,将S2.1.1和S2.1.2的四个CRB模块的输出F1、F2、F3和F4在通道维度上拼接,拼接后的特征图作为跳跃残差融合模块的输出Output,Output的通道数恢复为输入Input的通道数,可以表示为:Foutput=F1+F2+F3+F4

有效地提取有雾遥感图像的特征,增强网络处理复杂遥感场景、应对浓雾下拍摄的遥感图像的能力,同时保持网络结构稳定;

S2.2、构建用于分区域、分程度去雾的通道注意力引导机制的具体步骤如下:S2.2.1、构建通道权重矩阵,输入的遥感特征图为F∈RC×H×W,其中C、H和W分别表示通道数、高度和宽度;

1×N,其中N=原始特征图的高度H×宽度W;

C×N,其中N=原始特征图的高度H×宽度W;

让F经过一次卷积核大小为1×1、步长为1、填充值为0的卷积操作Conv,以此捕获遥感图像中的通道信息,得到一个1×H×W的矩阵,经过变形(Reshape,Rs)成为1×N的矩阵,然后将该矩阵转置(Transposition,Ts)为N×1的矩阵,最后让此N×1矩阵经过一个Sigmoid激活函数,得到了一组通道注意力权重映射在[0,1]范围内的、N×1大小的通道权重矩阵Td;

构建通道权重矩阵Td的输出过程表示为:

Td=Sigmoid(Ts(RS(Conv(F))))

S2.2.2、构建特征图权重映射矩阵,将三维的特征图F变形为C×N的二维矩阵,将该二维矩阵与Td相乘后变形得到了该特征图的通道权重映射矩阵TD∈RC×1×1,也就是获得了C个通道的权重值;

构建特征图的权重映射矩阵TD的输出过程表示为:

TD=Rs(Rs(F)×Td)

S2.2.3、将权重映射矩阵TD和输入的特征图F按通道将矩阵的值相乘得到带权特征图Fc∈RC×H×W,Fc能够给网络传达图像中需要给某片区域是否重要,需要去雾的程度,让网络重点关注浓雾区域,因此,通道注意力引导机制的输出过程表示为:Fc=TD×F

用于分区域、分程度去雾的通道注意力引导机制,该机制能聚焦遥感图像中的细节信息,判断拍摄的遥感图像中的雾浓度,定位出图像中需要进行转换的区域,有效去雾的同时避免过度去雾;

S2.3、搭建用于生成接近真实图像的无雾遥感图像的生成器的具体步骤如下:S2.3.1、搭建用于处理输入生成器的有雾遥感图像的入口模块:

搭建一个卷积核大小为3×3、步长为1、填充值为1的卷积操作Conv,后面连接着一层ReLU激活函数,输入生成器G的有雾遥感图像经过此入口模块后输出空间分辨率不变,通道数为16的有雾遥感特征图;

S2.3.2、搭建用于提取遥感图像的浅层特征下采样编码器:

S2.3.2.1、搭建一个S2.1中构建好的跳跃残差融合块,构成下采样编码器的第一层,该块输出分辨率不变的遥感图像特征图X1,类似地,再依次堆叠三次跳跃残差融合块,构成下采样编码器的第二、三、四层;

S2.3.2.2、在相邻的跳跃残差融合块之间创建一次下采样操作,具体是对上一层的跳跃残差融合块输出的特征图进行一次卷积核大小为3×3、步长为2、零填充值的卷积操作,因此,下采样编码器的第二、三、四层依次输出分辨率减半、通道数增倍的遥感图像特征图,记为X2、X3、X4;

S2.3.3、加入辅助生成器构建去雾遥感图像的通道注意力引导机制:在生成器G的第一层搭建一个S2.2构建的通道注意力引导机制,输入X1,经过该机制的处理,获得了关于X1的带权特征图X1',同理,在第二、三、四层都搭建一个通道注意力引导机制,分别输入X2、X3、X4,得到对应的带权特征图X2'、X3'、X4';

S2.3.4、搭建用于提取遥感图像的更深层次特征的上采样解码器:S2.3.4.1、依次堆叠四次S2.1中构建的跳跃残差融合块,构成生成网络的上采样解码器的第四、三、二、一层;

S2.3.4.2、在相邻的跳跃残差融合块之间都构建一次上采样操作,具体是卷积核大小为2×2、步长为2的转置卷积操作,将输入的特征图的分辨率增一倍、通道数减半;

S2.3.4.3、让X4和X4'按位相乘融合,形成能进一步突出雾的薄厚、遥感景象颜色信息的遥感特征图,然后作为上采样解码器的第四层的跳跃残差融合块的输入,经过该跳跃残差融合块的处理,输出与输入相同分辨率的遥感特征图,该特征图经过一次上采样操作后得到分辨率增倍、通道数减半的遥感特征图,记为Y1;

S2.3.4.4、让Y1和X3'按位相乘融合后的遥感特征图作为上采样解码器的第三层跳跃残差融合块的输入,经过该块的处理后输出与输入相同分辨率的遥感特征图,该特征图经过一次上采样操作后得到分辨率增倍、通道数减半的遥感特征图,记为Y2;

S2.3.4.5、让Y2和X2'按位相乘融合,得到的遥感特征图输入至上采样解码器的第二层跳跃残差融合块,在第二层输入的遥感特征图依次经过跳跃残差融合块、一次上采样操作后得到分辨率增倍、通道数减半的遥感特征图,记为Y3;

S2.3.4.6、让Y3和X1'按位相乘融合,输入至上采样解码器第一层的跳跃残差融合块,得到分辨率和通道数不变的遥感特征图,记为Y4;

S2.3.4、搭建用于输出生成器的结果的网络层:

搭建一个卷积核大小为3×3、步长为1、填充为1的卷积块Conv,后面连接着一层ReLU激活函数,Y4经过Conv和ReLU的计算,生成器完成对输入的有雾遥感图像的去雾操作,输出RGB三通道的去雾遥感清晰图像;

S2.4、搭建用于帮助生成器达到最好拟合状态的判别器;

S3、训练注意力引导的残差融合对抗生成网;

S4、应用注意力引导的残差融合对抗生成网络对有雾遥感图像去雾。

2.根据权利要求1所述的基于生成对抗网络的遥感图像去雾方法,其特征在于:在所述S1中,构建用于训练的有雾遥感图像数据集,首先,从开源的航空遥感图像数据集DOTA和卫星遥感图像数据集RSD46-WHU选取共840张无雾清晰图像作为原始数据源;

利用大气散射物理模型对840张无雾图像反推得到对应的遥感雾图,大气散射系数分别设置为[0.08,0.12,0.14],大气光值设置为[0.8,0.9];

每张清晰的遥感图像生成6张不同浓度的雾图,得到共5040张有雾遥感图像;

合成的不同浓度的有雾遥感图像以及其对应的真实无雾清晰图像共5880张图像作为本发明的实验数据集;

最后,按照8:2的比例将实验数据集分为训练集和测试集,即4032张雾图和672张清晰无雾图用于训练,1008张雾图和168张清晰无雾图用于测试。

3.根据权利要求1所述的基于生成对抗网络的遥感图像去雾方法,其特征在于:在所述S3中,需要使用S1中的训练数据集对S2搭建的注意力引导的残差融合对抗生成网络ARF-GAN进行训练,通过反向传播算法,优化模型参数;

训练过程中,ARF-GAN通过优化损失函数,调整网络中的权重值,使损失函数的计算结果最小,从而取得最好的收敛效果。

4.根据权利要求1所述的基于生成对抗网络的遥感图像去雾方法,其特征在于:在所述S4中,将需要进行去雾处理的真实遥感图像输入进训练好的ARF-GAN,图像将经过ARF-GAN的生成器处理,输出分辨率不变的、颜色自然的、无雾清晰的遥感图像。

5.根据权利要求1所述的基于生成对抗网络的遥感图像去雾方法,其特征在于:在所述S2.4中,搭建用于帮助生成器达到最好拟合状态的判别器,依次搭建起不同功能的网络层,包括卷积层、ReLU激活函数层、批归一化层、全连接层,搭建卷积核大小4×4,卷积核个数36,步长2的卷积层;

搭建卷积核大小3×3,卷积核个数72,步长2的卷积层;

搭建一层ReLU激活函数,增强网络的非线性拟合能力;

搭建一个卷积核大小为3×3,卷积核个数为144,步长为2的卷积层;

搭建批归一化层;搭建一个卷积核大小为3×3,卷积核个数为288,步长为2的卷积层;

搭建一层ReLU激活函数;搭建一个卷积核大小为3×3,卷积核个数为288,步长为2的卷积层;

搭建批归一化层;

搭建一层ReLU激活函数;搭建一个卷积核大小为3×3,卷积核个数为1,步长为1的卷积层;

最后,在判别器末端加入全连接层做结果整合,输出一个数值,完成图像的判断计算;

输出数值1表示输入判别器的遥感图像是真实采集的无雾图像,输出数值0表示输入判别器的遥感图像是生成器生成的无雾图像。

6.根据权利要求1所述的基于生成对抗网络的遥感图像去雾方法,其特征在于:在所述S3中,训练注意力引导的残差融合对抗生成网的具体步骤如下:S3.1、初始化训练模型需要的超参数,将训练集被分为一个批次的大小、训练轮次和初始学习率;

开始训练模型,将待去雾的遥感图像输入ARF-GAN中的生成器,生成器每次生成的去雾遥感图像和其对应的真实无雾遥感图像一起输入进对抗网络中的判别器,判别器将输出0或1,重复这样的对抗生成的学习过程;

S3.2、构建用于ARF-GAN的损失函数,使生成器生成图像的细节信息更加完整,防止生成器篡改原始图像中的色调,使得生成的去雾图像更具有真实性,因此,像素对比的损失函数LG的具体表达式如下:式子中,e为像素点,y(e)为对应生成器生成无雾图像的像素点值,Y(e)为真实无雾图像像素点值,N为一次训练样本数;

判别器的任务是区分真实无雾图像Y和生成器生成的无雾图像G(xi),即应对Y输出1,对生成器生成的无雾图像G9xi)输出0;

因此,判别器的损失函数使用了交叉熵二分类损失函数,记为LD;

ARF-GAN的损失函数由优化生成器的损失函数和优化判别器的损失函数相加而成,如下式所示:L=λ1LG+λ2LD

式子中,λ1和λ2是需要随着网络模型训练而学习的权重参数。