1.一种端到端的红外与可见光图像融合方法,其特征是,该方法包括如下步骤:步骤1,构建网络模型:整个网络由七个卷积块组成的卷积网络,其中每个卷积块由跳跃连接、拼接操作、卷积层和激活函数组成;第一个卷积块对输入图片进行初级特征提取,第二到六个卷积块对图像中高级特征进行提取并重组,去除冗余信息,组合并保留有用信息,第七个卷积块对两条支路输出的信息进行融合,得到最终的融合图像;
步骤2,准备数据集:对整个卷积网络先用可见光数据集进行训练;
步骤3,输入图像:将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练;
步骤4,最小化损失函数值:通过最小化网络输出图像与标签的损失函数,直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数;
步骤5,微调模型:用红外与可见光图像对模型进行训练和微调,得到稳定可用的模型参数;最终使得模型对融合的效果更好;
步骤6,保存模型:将最终确定的模型参数进行固化,之后需要进行红外与可见光图像融合操作时,直接将图像输入到网络中即可得到最终的融合图像。
2.根据权利要求1所述的一种端到端的红外与可见光图像融合方法,其特征在于,所述步骤1中第一个卷积块激活函数使用线性整流函数,第二到六个卷积块激活函数使用S型函数,最后一个卷积块不使用激活函数;所有卷积块中卷积核的大小统一为n×n;所有特征图的大小与输入图像大小保持一致。
3.根据权利要求1所述的一种端到端的红外与可见光图像融合方法,其特征在于,所述步骤3中在预训练过程中可见光数据集使用Flickr2K;通过对数据集中可见光彩色图像转为灰度图像进行有监督的训练;将同一张图片中加入随机大小和位置的高斯模糊高斯噪声得到两张图片,作为整个网络的输入,将原始图像作为标签,解决在图像融合领域只能进行无监督训练的问题。
4.根据权利要求1所述的一种端到端的红外与可见光图像融合方法,其特征在于,所述步骤4中在训练过程中损失函数选择使用结构相似性和像素损失的组合;得到的融合图像既要与红外与可见光图像在结构上保持一致,而且还需要突出红外与可见光图像中细节部分,提升人眼视觉效果。
5.根据权利要求1所述的一种端到端的红外与可见光图像融合方法,其特征在于,所述步骤5中在微调模型参数过程中使用TNO数据集。