欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022105576159
申请人: 湖南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,包括:利用图像去雾模型中的主干网络提取有雾图像在不同尺寸和子区域下的五组特征图;

利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强,得到五组特征加强后的特征图;

将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征;

利用图像去雾模型中的解码器对所述融合特征进一步融合和解码得到网络的中间估计参数;

利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像;

所述图像去雾模型包括所述主干网络、所述特征金字塔网络结构、所述解码器和所述物理恢复模块;

其中,利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强,得到五组特征加强后的特征图包括使用多层所述特征金字塔网络结构对五组包含不同尺寸和子区域的特征图进行特征加强;

将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征包括使用自适应权重融合。

2.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,搭建所述图像去雾模型包括:获取训练集,所述训练集包括有雾图像和与所述有雾图像对应的清晰图像;

初始化所述图像去雾模型;

将所述有雾图像输入所述主干网络输出得到有雾图像在不同尺寸和子区域下的五组特征图;

然后通过特征金字塔网络结构对五组特征图进行特征加强得到五组特征加强后的特征图;

将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征;

将融合特征输入进解码器,进一步融合和解码得到网络的中间估计参数;

利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像;

以所述有雾图像重构的无雾图像和其对应的清晰图像的均方差误差作为损失函数训练得到收敛的图像去雾模型。

3.根据权利要求2所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,所述损失函数满足下式:其中,Lmse为网络损失,N为参与搭建所述图像去雾模型的有雾图像的像素数量,Y为以有雾图像重构的无雾图像,X为有雾图像对应的清晰图像。

4.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,所述主干网络由八个卷积模块组成,其中,第一个卷积模块由3×3的卷积层和批标准化层组成;第二、三、五和八个卷积模块为卷积核大小3×3的移动可翻转卷积块;第四、六和七个卷积模块为卷积核大小5×5的移动可翻转卷积块;第2‑8个卷积模块均使用残差网络结构,并且第2‑8个卷积模块中的网络层数分别为1、2、2、3、3、4和1。

5.根据权利要求4所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,所述解码器由三个解码模块组成,每个解码模块由3×3的卷积层和上采样层组成,所述融合特征经过三个解码模块能得到网络的中间估计参数。

6.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,所述将五组特征加强后的特征图进行特征融合得到融合特征是使用空间多尺寸特征叠加融合的方法,以五组特征加强后的特征图中尺寸最大的特征图的尺寸为基准,其他的特征图使用混合插值的方式使其尺寸与最大的特征图保持一致,通过空间多尺寸叠加融合五组特征加强后的特征图得到融合特征。

7.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法,其特征在于,所述利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像满足大气散射模型,对所述大气散射模型进行改写,所述大气散射模型如以下公式所示:I(x)=J(x)t(x)+A(1‑t(x))

其中,I(x)为所述有雾图像,J(x)为所述无雾图像,A是全局大气光值,t(x)为透射率;

合并大气散射模型中全局大气光值A和透射率t(x),得到物理恢复模块依赖的物理恢复模型,如以下公式所示:J(x)=k(x)I(x)‑k(x)+b

其中, b为常数1,k(x)为所述网络的中间估计参数;

所述利用物理恢复模块对所述网络的中间估计参数和网络输入的有雾图像重构得到无雾图像。

8.一种基于端到端的多尺寸融合的金字塔神经网络图像去雾系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一所述方法的步骤。