1.一种基于视觉增强的红外与可见光图像融合方法,其特征在于:包括如下步骤:步骤1:构建自编码器,并训练自编码器;其中,所述自编码器包含一个编码器Encoder和一个解码器Decoder,所述编码器Encoder由四个依次连接的编码单元组成,所述解码器Decoder由四个依次连接的解码单元组成,其中编码单元由依次连接的卷积层和lrelu激活层组成,解码单元也是由依次连接的卷积层和lrelu激活层组成;
步骤2:获取增强网络的训练集;
步骤3:构建增强网络,训练增强网络,得到训练好的增强网络模型;其中,所述增强网络包括照度模块和反射率模块,照度模块包含三层卷积层,反射率模块的结构与照度模块的结构相同;
步骤4:获取融合网络的训练集与测试集;
步骤5:构建融合网络,训练融合网络,得到训练好的融合网络模型;其中,所述融合网络包括上支路和下支路这两条支路,其中,上支路包括三个卷积单元,每个卷积单元均由一个3×3卷积层和一个lrelu激活层组成;下支路为一个1×1的卷积层;
步骤6:利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试,得融合图像。
2.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤1中,训练自编码器包括如下具体步骤:步骤1.1:读取自编码器训练集中的图像,然后调整图像的尺寸,然后将图像转换到YCbCr颜色空间中,得图像Y通道的像素值;然后,将图像的像素值进行归一化处理,即得到输入图像;
步骤1.2:将输入图像的Y通道图IY 输入自编码器中进行编码,得到深度特征图F;
步骤1.3:将深度特征图F输入到自编码器中进行解码,得到输出的Y通道图OY ;
步骤1.4:根据损失函数 计算输入图像的Y通道IY 和重构的Y通道图OY 之间的特征损失;
步骤1.5:用Adam优化器优化梯度,更新自编码器的参数;
步骤1.6:重复步骤1.1至步骤1.5,直到在整个训练集上迭代次数epoch达到设定阈值,得到训练好的自编码器。
3.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤1.4中,损失函数 的计算公式,如式(1)所示: (1)
式(1)中, 为结构损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY的结构相似度; 为内容损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离;α为超参数,用于平衡结构损失和内容损失;
式(1)中的 ,其计算公式如式(2)所示:
(2)
式(2)中, 为内容损失,用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离;
式(1)中的 ,其计算公式如式(3)所示:
(3)
式(3)中, 为结构损失,用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度; 为输入图像的Y通道IY的均值; 为重构的Y通道图OY的均值;C1为常数; 为输入图像的Y通道IY和重构的Y通道图OY的协方差;C2为常数。
4.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3中,所述增强网络的训练过程包括如下步骤:步骤3.1:读取增强网络训练的训练集中的低光与正常光图像对(Il,In),然后分别将低光图像Il和正常光图像In转换到YCbCr颜色空间,提取低光图像Il和正常光图像In的Y通道图,得到Y通道图对(IlY,InY);
步骤3.2:分别将低光图像Y通道图IlY 、正常光图像Y通道图InY 输入到步骤1得到的训练好的自编码器中进行编码,计算得到特征图对(FlY,FnY);
步骤3.3:将特征图FlY和特征图FnY分别输入到增强网络中分别计算照度和反射率,计算得到低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr以及正常光图像的反射率特征图Fnr;而后,将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器中进行解码,得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr 以及正常光图像的反射率图Inr;
步骤3.4:根据损失函数 计算增强网络的损失值,并利用Adam优化器优化损失梯度并反向传播,更新增强网络的模型参数;
步骤3.5:重复步骤3.1至步骤3.4,在增强网络的训练集上直到迭代次数达到设定阈值,即可得到训练好的增强网络模型。
5.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3.3的具体步骤为:将特征图FlY和特征图FnY分别输入到增强网络中,经增强网络的照度模块计算得到低光图像的照度特征图Fli和正常光图像的照度特征图Fni,经增强网络的反射率模块计算得到低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr;而后,将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器的解码器Decoder中,得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr。
6.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤3.4中,损失函数 包含了四个部分,重构损失 、照度平滑度损失 、反射率不变损失 以及共同一致性损失 ;损失函数 的计算公式,如式(4)所示: (4)
式(4)中, 为重构损失、 为照度平滑度损失、 为反射率不变损失、为共同一致性损失;β1、β2和β3均为超参数;
重构损失 计算公式,如式(5)所示:
(5)
式(5)中,|| ||1表示的第一范数计算,为正常光图像、 为正常光图像的照度、 为正常光图像的反射率、为低光图像、为低光图像的照度、 为低光图像的反射率;
照度平滑度损失 计算公式,如式(6)所示:
(6)
式(6)中,|| ||1表示的第一范数计算, 低光图像的照度的梯度值、 为正常光图像的照度的梯度值、 为低光图像的梯度值、 为正常光图像的梯度值;
反射率不变损失 计算公式,如式(7)所示:
(7)
式(7)中,|| ||表示的第一范数计算, 反射率不变损失、 为低光图像的反射率、正常光图像的反射率;
共同一致性损失 计算公式,如式(8)所示:
(8)
式(8)中,|| ||1表示的第一范数计算, 为低光图像的照度的梯度值、 为正常光图像的照度的梯度值、c为常数。
7.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5中,所述融合网络的训练过程包括以下步骤:步骤5.1:读取融合网络的训练集中的红外图像与可见光图像对(Ii,Iv),然后分别将红外图像Ii和可见光图像Iv转换到YCbCr颜色空间,提取红外图像Ii和可见光图像Iv的Y通道图,得到Y通道图对(IiY,IvY);
步骤5.2:分别将Y通道图IiY 和Y通道图IvY输入步骤1中训练好的自编码器进行编码,计算得到特征图对(FiY,FvY);
步骤5.3:将特征图FvY输入步骤3得到的训练好的增强网络模型中计算反射率,得到特征图Fve;
步骤5.4:将特征图对(FiY,Fve)在特征维度上连接,得拼接特征图,而后将拼接特征图输入到融合网络中,拼接特征图经融合网络处理得到全局信息融合特征图Ff1和全局信息融合特征图Ff2,而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff;
步骤5.5:将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器中进行解码,得到Y通道的融合图像IfY ;
步骤5.6:根据损失函数 计算融合网络的损失值,利用Adam优化器优化损失梯度并反向传播,更新融合网络的模型参数。
8.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5.4的具体步骤为:将特征图对(FiY,Fve)在特征维度上连接,得拼接特征图,而后将拼接特征图输入到融合网络中,拼接特征图经融合网络的上支路处理得到全局信息融合特征图Ff1,拼接特征图经融合网络的下支路处理得到全局信息融合特征图Ff2,而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff。
9.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤5.6中,损失函数 包含了强度损失 和梯度损失 这两个部分,损失函数 的计算公式,如式(9)所示: (9)
式(9)中, 为强度损失、 为梯度损失;γ为超参数,用于平衡两项损失;
强度损失 的计算公式,如式(10)所示:
(10)
式(10)中,|| ||1表示的第一范数计算,H为可见光图像的高、W为可见光图像的宽、为Y通道融合图像、 为红外图像Ii的Y通道图;
梯度损失 的计算公式,如式(11)所示:
(11)
式(11)中,|| ||1表示的第一范数计算,H为可见光图像的高、W为可见光图像的宽、表示Sobel梯度计算操作,用于度量图像的细粒度纹理信息; 为融合图像IfY的梯度值、为可见光图像Iv的Y通道图的梯度值、 为红外图像Ii的梯度值。
10.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法,其特征在于:步骤6具体包括如下步骤:步骤6.1:将融合网络的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤5.1到步骤5.5进行,得到Y通道的融合图像IfY ;
步骤6.2:将Y通道的融合图像IfY 与可见光图像的CbCr通道在特征维度连接,得到YCbCr格式的图像,而后再转换为RGB格式,得到融合图像。