1.一种夜晚监控相机的近红外图像彩色化方法,其特征在于,在监控场景下监控相机基于双向循环生成对抗网络,利用白天场景图像进行学习训练为夜晚近红外场景图像赋色;具体包括以下步骤:步骤1、利用监控相机采集白天可见光彩色图像与夜晚近红外灰度图像,并分别建立白天可见光彩色图像的训练样本集和测试样本集,以及夜晚近红外灰度图像的训练样本集和测试样本集;
步骤2、构建双向循环生成对抗网络并进行训练;
步骤3、将夜晚近红外灰度图像的测试样本集和白天可见光彩色图像的测试样本集分别输入到训练好的双向循环生成对抗网络中,分别输出彩色结果图像和近红外结果图像;
所述彩色结果图像为夜晚近红外灰度图像的测试样本集赋色后的图像,所述近红外结果图像为白天可见光图像的测试样本集赋色后的图像;
在步骤2中,构建双向循环生成对抗网络并进行训练具体包括以下步骤:
步骤2.1、将夜晚近红外灰度图像的训练样本集Btrain输入到生成器GBC中,生成彩色近红外图像Btrain;同时将白天可见光彩色图像的训练样本集Ctrain输入到生成器GCB中,生成近红外可见光彩色图像Ctrain;
步骤2.2、将白天可见光彩色图像的训练样本集Ctrain与彩色近红外图像B’train输入到鉴别器DC中,计算彩色近红外图像B’train是真实白天可见光彩色图像的概率;同时将夜晚近红外灰度图像的训练样本集Btrain与近红外可见光彩色图像C’train输入到鉴别器DB中,计算近红外可见光彩色图像C’train是真实夜晚近红外灰度图像的概率;
步骤2.3、将彩色近红外图像B’train输入到生成器GCB中,生成重构近红外灰度图像同时将近红外可见光彩色图像C’train输入到生成器GBC中,生成重构可见光彩色图像步骤2.4、将近红外可见光彩色图像C’train与重构近红外灰度图像 输入到鉴别器DB中,计算重构近红外灰度图像 是真实夜晚近红外灰度图像的概率;同时将彩色近红外图像B’train与重构可见光彩色图像 输入到鉴别器DC中,计算重构可见光彩色图像 是真实白天可见光彩色图像的概率;
步骤2.5、利用监控场景下采集的训练样本集对所构建的双向循环生成对抗网络按照步骤2.1‑步骤2.4通过计算对抗损失、重构损失函数来进行无监督学习训练;
所述步骤2.1中,将夜晚近红外灰度图像的训练样本集Btrain输入到生成器GBC中,生成彩色近红外图像B’train;同时将白天可见光彩色图像的训练样本集Ctrain输入到生成器GCB中,生成近红外可见光彩色图像C’train,包括如下步骤:步骤2.1.1、将夜晚近红外灰度图像的训练样本集Btrain输入到生成器GBC的下采样模块中,生成不同尺度的夜晚近红外图像低级特征图;
步骤2.1.2、将下采样模块的低级特征图输入至Octave卷积模块,分离出夜晚近红外灰度图像的训练样本集Btrain低级特征的高频特征图;
步骤2.1.3、将高频特征图送入残差模块中,生成残差高频特征图;
步骤2.1.4、将低级特征图输入至多尺度自适应特征融合模块,生成不同尺度的融合特征图;
步骤2.1.5、将残差高频特征图和融合特征图输入至上采样模块,最终生成彩色结果图像;
所述步骤2.2中,将白天可见光彩色图像的训练样本集Ctrain与彩色近红外图像B’train输入到鉴别器DC中,计算彩色近红外灰度图像B’train是真实白天可见光彩色图像的概率;同时将近红外可见光彩色图像C’train与夜晚近红外灰度图像的训练样本集Btrain输入到鉴别器DB中,计算近红外可见光彩色图像C’train是真实夜晚近红外灰度图像的概率,包括如下步骤:步骤2.2.1、将白天场景训练样本Ctrain与彩色近红外图像B’train输入到鉴别器中的常规卷积中,生成低级特征图;
步骤2.2.2、将各自的低级特征图输入到梯度归一化层模块中,生成梯度低级特征图;
步骤2.2.3、将梯度低级特征图输入到Sigmoid模块中,输出n×n的矩阵,取此矩阵的均值作为真可见光/假可见光图像的结果输出;
在步骤2.3中,将彩色近红外灰度图像B’train输入到生成器GCB中,生成重构近红外灰度图像 同时将近红外可见光彩色图像C’train输入到生成器GBC中,生成重构可见光彩色图像 包括如下步骤:步骤2.3.1、将彩色近红外图像B’train输入到生成器GCB的下采样模块中,生成不同尺度的彩色近红外图像低级特征图;
步骤2.3.2、将下采样块的低级特征图送入Octave卷积模块,分离出彩色近红外灰度图像低级特征的高频特征图,即轮廓信息;
步骤2.3.3、将高频特征图送入残差模块中,生成残差高频特征图,同时可以防止模型退化;
步骤2.3.4、将低级特征图输入到多尺度自适应融合模块,生成不同尺度的融合特征图;
步骤2.3.5、将残差高频特征图和融合特征图输入至上采样模块,最终生成重构近红外灰度结果图像。
2.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,在步骤
1中,监控相机采集白天可见光彩色图像ID‑C和夜晚近红外灰度图像IN‑G,分别建立白天可见光彩色图像的训练样本集Ctrain和白天可见光彩色图像的测试样本集Ctest,夜晚近红外灰度图像的训练样本集Btrain和夜晚近红外灰度图像的测试样本集Btest;
在步骤2中,双向循环生成对抗网络包含两个生成器和两个鉴别器;其中,生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成;鉴别器由卷积模块、梯度归一化层模块组成;两个所述生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器GBC和白天可见光彩色图像到夜晚近红外灰度图像的生成器GCB;两个所述鉴别器为近红外灰度图像鉴别器DB和可见光彩色图像鉴别器DC;
在步骤3中,将白天可见光彩色图像的测试样本集Ctest输入到训练好的双向循环生成对抗网络中,输出最终的近红外结果。
3.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,所述步骤2.4中,将近红外可见光彩色图像C’train与重构近红外灰度图像 输入到鉴别器DB中,计算重构近红外灰度图像 是真实夜晚近红外灰度图像的概率;同时将彩色近红外灰度图像B’train与重构可见光彩色图像 输入到鉴别器DC中,计算重构可见光彩色图像 是真实白天可见光彩色图像的概率,包括如下步骤:步骤2.4.1、将近红外可见光彩色图像C’train与重构近红外灰度图像 输入至鉴别器的常规卷积中,生成低级特征图;
步骤2.4.2、将各自的低级特征图输入到梯度归一化层模块中,生成梯度低级特征图;
步骤2.4.3、将梯度低级特征图输入到Sigmoid中,输出n×n的概率矩阵,取此矩阵的均值作为真近红外/假近红外图像的结果输出。
4.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,所述步骤2.5通过计算对抗损失、重构损失函数来进行无监督训练中,通过设计的损失函数实现,采用对抗损失Ladv、重建损失Lrec构建的总损失进行网络训练,记总损失为L,如下式所示:式中,损失函数 是基于夜晚监控近红外场景图像与生成的彩色近红外图像之间的对抗博弈;损失函数 是基于白天监控可见光场景图像与生成的近红外图像之间的对抗博弈;重构损失Lrec是重构图像与原始图像的内容损失,λ1,λ2,λ3代表超参数用于控制几个损失之间的权重。
5.根据权利要求4所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,采用对抗损失Ladv、重建损失Lrec构建的总损失进行网络训练具体包括:将夜晚近红外灰度图像的训练样本集Btrain送入生成器GBC中,生成彩色近红外图像B’train,将彩色近红外图像B’train送入鉴别器DC中,夜晚近红外灰度图像Btrain对抗损失如下:式中, 为夜晚近红外灰度图像的训练样本集Btrain的对抗损失,
表示彩色可见光图像的期望值,B表示夜晚近红外灰度图像域,C表示白天可见
光图像域, 为夜晚近红外图像的期望值,G(b)指夜晚近红外灰度图像的训练样本集Btrain输入至生成器GBC的结果,该结果为B′train;DC(G(b))是B′train输入至鉴别器DC的结果;
将白天可见光彩色图像的训练样本集Ctrain送入生成器GCB中,生成近红外可见光彩色图像C’train,将C’train送入鉴别器DB中,其白天可见光彩色图像Ctrain对抗损失如下:式中, 为白天可见光彩色图像的训练样本集Ctrain的对抗损失;
为夜晚近红外图像的期望值; 为彩色可见光图像的期望值;G(c)为
白天可见光图像的训练样本集Ctrain输入至生成器GCB的结果,该结果为C’train;DB(G(c))是C’train输入至鉴别器DB的结果;
将Btrain送入生成器GBC中生成B’train后,将B’train送至生成器GCB中生成重构图像计算重构图像 与Btrain逐像素的差异值,并减少两者图像间的损失;将Ctrain送入生成器GCB中生成C’train后,将C’train送至生成器GBC中生成重构图像 计算重构图像与Ctrain逐像素的差异值,并减少两者图像间的损失;重构损失如下:式中,Lrec(GBC,GCB)为重构损失;(GBC(b))为夜晚近红外灰度图像的训练样本集Btrain输入至生成器GBC生成B′train,后将B′train输入至生成器GCB中,即GCB(GBC(b)),也就是 b代表夜晚近红外灰度图像的训练样本集Btrain;c为白天可见光图像的训练样本集Ctrain;
GCB(c)指白天可见光图像的训练样本集Ctrain输入至生成器GCB生成C′train,C′train即指代为式中GCB(c);后将C′train输入至生成器GBC中,即GBC(GCB(c)),也就是总损失是由Btrain的对抗损失、Ctrain的对抗损失及重构损失加权组成,如下:
式中,Ltotal:总损失函数; 夜晚近红外灰度图像的训练样本集Btrain
的对抗损失; 白天可见光彩色图像的训练样本集Ctrain的对抗损失;
Lrec(GBC,GCB):重构损失;将Btrain送入生成器GBC中生成Btrain后,将Btrain送至生成器GCB中生成重构图像 计算重构图像 与Btrain逐像素的差异值,并减少两者图像间的损失;将Ctrain送入生成器GCB中生成Ctrain后,将C′train送至生成器GBC中生成重构图像计算重构图像 与Ctrain逐像素的差异值,并减少两者图像间的损失。
6.一种实施权利要求1‑5任意一项所述夜晚监控相机的近红外图像彩色化方法的夜晚监控相机的近红外图像彩色化系统,其特征在于,该系统包括:数据集建立模块,用于利用监控相机,在白天采集可见光彩色图像ID‑C,在夜晚采集近红外灰度图像IN‑G,分别建立夜晚近红外灰度图像的训练样本集Btrain和测试样本集Btest,白天可见光彩色图像的训练样本集Ctrain和测试样本集Ctest;
双向循环生成对抗网络构建及训练模块,用于构建双向循环生成对抗网络并进行训练,所述双向循环生成对抗网络包含两个生成器和两个鉴别器;其中,生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成,鉴别器由常规卷积模块、梯度归一化层模块组成;所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器GBC和白天可见光彩色图像到夜晚近红外灰度图像的生成器GCB;所述两个鉴别器为近红外灰度图像鉴别器DB和可见光彩色图像鉴别器DC;
双向循环生成对抗网络应用模块,用于将待测试的测试样本集Btest输入到训练好的双向循环生成对抗网络中,输出最终的彩色结果;同时,将待测试的测试样本集Ctest输入到训练好的双向循环生成对抗网络中,输出最终的近红外结果。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1‑5任意一项所述夜晚监控相机的近红外图像彩色化方法。