欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023105300228
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉增强的红外与可见光图像融合方法,其特征在于:包括如下步骤:步骤1:构建自编码器,并训练自编码器;其中,所述自编码器包含一个编码器Encoder和一个解码器Decoder,所述编码器Encoder由四个依次连接的编码单元组成,所述解码器Decoder由四个依次连接的解码单元组成,其中编码单元由依次连接的卷积层和lrelu激活层组成,解码单元也是由依次连接的卷积层和lrelu激活层组成;

步骤2:获取增强网络的训练集;

步骤3:构建增强网络,训练增强网络,得到训练好的增强网络模型;其中,所述增强网络包括照度模块和反射率模块,照度模块包含三层卷积层,反射率模块的结构与照度模块的结构相同;

步骤4:获取融合网络的训练集与测试集;

步骤5:构建融合网络,训练融合网络,得到训练好的融合网络模型;其中,所述融合网络包括上支路和下支路这两条支路,其中,上支路包括三个卷积单元,每个卷积单元均由一个3×3卷积层和一个lrelu激活层组成;下支路为一个1×1的卷积层;

步骤6:利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试,得融合图像。

2.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤1中,训练自编码器包括如下具体步骤:步骤1.1:读取自编码器训练集中的图像,然后调整图像的尺寸,然后将图像转换到YCbCr颜色空间中,得图像Y通道的像素值;然后,将图像的像素值进行归一化处理,即得到输入图像;

步骤1.2:将输入图像的Y通道图IY 输入自编码器中进行编码,得到深度特征图F;

步骤1.3:将深度特征图F输入到自编码器中进行解码,得到输出的Y通道图OY ;

步骤1.4:根据损失函数 计算输入图像的Y通道IY 和重构的Y通道图OY 之间的特征损失;

步骤1.5:用Adam优化器优化梯度,更新自编码器的参数;

步骤1.6:重复步骤1.1至步骤1.5,直到在整个训练集上迭代次数epoch达到设定阈值,得到训练好的自编码器。

3.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤1.4中,损失函数 的计算公式,如式(1)所示:      (1)

式(1)中, 为结构损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY的结构相似度; 为内容损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离;α为超参数,用于平衡结构损失和内容损失;

式(1)中的 ,其计算公式如式(2)所示:

            (2)

式(2)中, 为内容损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离;

式(1)中的 ,其计算公式如式(3)所示:

    (3)

式(3)中, 为结构损失,用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度; 为输入图像的Y通道IY的均值; 为重构的Y通道图OY的均值;C1为常数; 为输入图像的Y通道IY和重构的Y通道图OY的协方差;C2为常数。

4.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3中,所述增强网络的训练过程包括如下步骤:步骤3.1:读取增强网络训练的训练集中的低光与正常光图像对(Il,In),然后分别将低光图像Il和正常光图像In转换到YCbCr颜色空间,提取低光图像Il和正常光图像In的Y通道图,得到Y通道图对(IlY,InY);

步骤3.2:分别将低光图像Y通道图IlY 、正常光图像Y通道图InY 输入到步骤1得到的训练好的自编码器中进行编码,计算得到特征图对(FlY,FnY);

步骤3.3:将特征图FlY和特征图FnY分别输入到增强网络中分别计算照度和反射率,计算得到低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr以及正常光图像的反射率特征图Fnr;而后,将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器中进行解码,得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr 以及正常光图像的反射率图Inr;

步骤3.4:根据损失函数 计算增强网络的损失值,并利用Adam优化器优化损失梯度并反向传播,更新增强网络的模型参数;

步骤3.5:重复步骤3.1至步骤3.4,在增强网络的训练集上直到迭代次数达到设定阈值,即可得到训练好的增强网络模型。

5.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3.3的具体步骤为:将特征图FlY和特征图FnY分别输入到增强网络中,经增强网络的照度模块计算得到低光图像的照度特征图Fli和正常光图像的照度特征图Fni,经增强网络的反射率模块计算得到低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr;而后,将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器的解码器Decoder中,得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr。

6.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3.4中,损失函数 包含了四个部分,重构损失 、照度平滑度损失 、反射率不变损失 以及共同一致性损失 ;损失函数 的计算公式,如式(4)所示:   (4)

式(4)中, 为重构损失、 为照度平滑度损失、 为反射率不变损失、为共同一致性损失;β1、β2和β3均为超参数;

重构损失 计算公式,如式(5)所示:

   (5)

式(5)中,|| ||1表示的第一范数计算,为正常光图像、 为正常光图像的照度、 为正常光图像的反射率、为低光图像、为低光图像的照度、 为低光图像的反射率;

照度平滑度损失 计算公式,如式(6)所示:

    (6)

式(6)中,|| ||1表示的第一范数计算, 低光图像的照度的梯度值、 为正常光图像的照度的梯度值、 为低光图像的梯度值、 为正常光图像的梯度值;

反射率不变损失 计算公式,如式(7)所示:

     (7)

式(7)中,|| ||表示的第一范数计算, 反射率不变损失、 为低光图像的反射率、正常光图像的反射率;

共同一致性损失 计算公式,如式(8)所示:

  (8)

式(8)中,|| ||1表示的第一范数计算, 为低光图像的照度的梯度值、 为正常光图像的照度的梯度值、c为常数。

7.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5中,所述融合网络的训练过程包括以下步骤:步骤5.1:读取融合网络的训练集中的红外图像与可见光图像对(Ii,Iv),然后分别将红外图像Ii和可见光图像Iv转换到YCbCr颜色空间,提取红外图像Ii和可见光图像Iv的Y通道图,得到Y通道图对(IiY,IvY);

步骤5.2:分别将Y通道图IiY 和Y通道图IvY输入步骤1中训练好的自编码器进行编码,计算得到特征图对(FiY,FvY);

步骤5.3:将特征图FvY输入步骤3得到的训练好的增强网络模型中计算反射率,得到特征图Fve;

步骤5.4:将特征图对(FiY,Fve)在特征维度上连接,得拼接特征图,而后将拼接特征图输入到融合网络中,拼接特征图经融合网络处理得到全局信息融合特征图Ff1和全局信息融合特征图Ff2,而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff;

步骤5.5:将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器中进行解码,得到Y通道的融合图像IfY ;

步骤5.6:根据损失函数 计算融合网络的损失值,利用Adam优化器优化损失梯度并反向传播,更新融合网络的模型参数。

8.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5.4的具体步骤为:将特征图对(FiY,Fve)在特征维度上连接,得拼接特征图,而后将拼接特征图输入到融合网络中,拼接特征图经融合网络的上支路处理得到全局信息融合特征图Ff1,拼接特征图经融合网络的下支路处理得到全局信息融合特征图Ff2,而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff。

9.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5.6中,损失函数 包含了强度损失 和梯度损失 这两个部分,损失函数 的计算公式,如式(9)所示:     (9)

式(9)中, 为强度损失、 为梯度损失;γ为超参数,用于平衡两项损失;

强度损失 的计算公式,如式(10)所示:

      (10)

式(10)中,|| ||1表示的第一范数计算,H为可见光图像的高、W为可见光图像的宽、为Y通道融合图像、 为红外图像Ii的Y通道图;

梯度损失 的计算公式,如式(11)所示:

   (11)

式(11)中,|| ||1表示的第一范数计算,H为可见光图像的高、W为可见光图像的宽、表示Sobel梯度计算操作,用于度量图像的细粒度纹理信息; 为融合图像IfY的梯度值、为可见光图像Iv的Y通道图的梯度值、 为红外图像Ii的梯度值。

10.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤6具体包括如下步骤:步骤6.1:将融合网络的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤5.1到步骤5.5进行,得到Y通道的融合图像IfY ;

步骤6.2:将Y通道的融合图像IfY 与可见光图像的CbCr通道在特征维度连接,得到YCbCr格式的图像,而后再转换为RGB格式,得到融合图像。