欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023100057920
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-10-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于层分离和重参数的红外和可见光图像融合方法,其特征在于,包括以下步骤:步骤一、构建重参数融合网络;

步骤二、对重参数融合网络进行训练,其中对于重参数融合网络的训练阶段,设置层分离引导网络,层分离引导网络以红外光图像作为输入,通过自编码器分离出红外光图像中的显著特征并生成引导掩码;引导掩码作为后续的引导融合损失中的一部分,指导重参数融合网络的训练;

步骤三、部署训练好的重参数网络模型;

采用训练好的重参数网络模型对图像进行融合的方法,包括以下步骤:步骤一、读取红外光图像和可见光图像:

步骤二、重参数融合网络生成灰度融合图像:

步骤三、灰度融合图像转换为RGB图像。

2.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,读取红外光图像和可见光图像的RGB图像,并转换到YCbCr颜色空间,使用其中Y亮度通道用于后续的图像融合,Cb和Cr负责保存可见光图像的色彩信息;将红外光图像和可见光图像带入重参数融合网络生成灰度融合图像:将灰度融合图像属于YCbCr颜色空间的Y亮度通道,通过与Cb和Cr通道的颜色信息融合后,再转换为RGB的融合图像。

3.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,重参数融合网络经过结构转换,将其多分支结构转换为单分支结构后进行部署。

4.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,层分离引导网络中的所述自编码器包含编码器和解码器两部分;

层分离引导网络生成引导掩码的方法包括以下步骤:

步骤1,红外光图像输入到编码器来提取红外光图像的显著特征;

步骤2,将获取的显著特征输入到解码器来生成一张关注红外光图像显著信息的引导图像;

步骤3,通过二值化算法将引导图像转换为引导掩码。

5.根据权利要求4所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,层分离引导网络中的所述自编码器的解码器是由3个网络层所组成,前2层是由核大小为3×3的卷积层、批归一化层和激活函数Leaky ReLU所组成,用于解码显著特征为解码后的特征;第3层是由核大小为3×3的卷积层、批归一化层和激活函数ReLU所组成,用于将解码后的特征还原为显著信息图像;最后通过图像二值化,生成引导掩码。

6.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,层分离引导网络的层分离损失的具体计算方式,包括以下步骤:步骤1,计算数据集标签与红外光图像的乘积得到标签显著信息图;

步骤2,通过阈值分割获取伪显著信息标签并与红外光图像相乘得到伪标签显著信息图;

步骤3,将标签显著信息图和伪标签显著信息图求并集得到联合标签显著信息图;

步骤4,通过最小化引导图像和联合标签显著信息图的结构相似度损失、最小化引导图像与红外光图像的梯度的均方误差损失作为层分离损失。

7.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,训练阶段,重参数融合网络设计有纹理细节保持编码器,提取可见光图像中的纹理细节特征;在纹理细节保持编码器基础上增加重参数位置注意力模块,作为显著特征保持编码器;显著特征保持编码器用于提取红外光图像中的显著目标特征;将纹理细节特征和显著目标特征拼接,输入特征解码器中生成单通道的融合图像。

8.根据权利要求6所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,重参数位置注意力模块,用于关注红外特征中的显著区域,对输入的红外光图像特征进行编码和解码。

9.根据权利要求8所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,重参数位置注意力模块,计算显著信息的权重,并将权重和红外光图像特征做矩阵乘积得到显著通道特征,最后将显著通道特征和红外光图像特征进行特征拼接后输出。

10.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法,其特征在于,重参数融合网络中的引导融合损失的函数包括:可见光纹理细节损失函数、红外光显著信息损失函数、隐藏层信息损失函数;

所述可见光纹理细节损失函数用于保留可见光图像的纹理细节信息;

所述红外光显著信息损失函数用于保留红外光图像中的显著目标信息;

所述隐藏层信息损失函数通过约束梯度细节的方式来保留隐藏层的细节信息。