1.红外图像与可见光图像融合方法,其特征在于,包括如下步骤:
步骤1,RPCA图像分解
RPCA图像的分解主要分为三步,首先将RPCA图像转化为列向量M∈Rmn×1;然后利用快速ALM对M进行RPCA图像分解,从优化问题式(1)中获得mn×1的低秩矩阵列向量L和稀疏矩阵列向量S;最后将矩阵L和S转换为m×n的矩阵;
式中|| ||*表示矩阵的核范数,|| ||1表示矩阵的L1-范数,λ取值 L,S为低秩矩阵和稀疏矩阵;
RPCA图像分解完之后得到红外图像和可见光图像的稀疏分量和低秩分量,根据稀疏分量和低秩分量的特点,采用基于区域能量的方法融合稀疏分量、基于NSCT的方法融合低秩分量;
步骤2,稀疏分量融合规则
稀疏分量主要包括图像的提出目标信息,采用基于区域能量取大的融合规则;红外图像与可见光图像的稀疏分量融合主要分为以下三步:首先确定区域大小,然后通过式(2)计算每一点周围区域的能量;
式中Q表示窗口的范围,E(m,n)为区域能量,d(m+x,n+y)表示源图像在(m+x,n+y)处的子带系数;
最后通过式(3)区域能量取大的融合规则融合稀疏分量;
式中dF(m,n),dTV(m,n),dIR(i,j)分别表示融合图像,可见光图像和红外图像的稀疏矩阵,ETV(m,n),EIR(m,n)表示区域能量;
步骤3,基于NSCT的低秩分量融合
利用NSCT对红外图像和可见光图像的低秩分量进行变换,得到相应的低通子带和带通子带;然后进行对应的子带融合;红外图像与可见光图像的低秩分量经过双通道非采样滤波器组滤波可以得到低通子带与高通子带,其中,每一次非采样塔式滤波器组滤波都必须对上一次滤波采用的滤波器按采样矩阵D=2I进行上采样;然后将低通子带经高通滤波器滤波可以得到下一级分解的低通子带,经过上采样的高通滤波器滤波后会得到下一级分解的高通子带,不断循环此过程得到最后的分解过程。
2.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,步骤3所述的低通子带融合,采用如下融合规则:NSCT变换后的低通子带可以反映源图像的基础结构,大致体现图像轮廓的平均特性,其融合大致分为三步;首先选择窗口大小为3*3,然后通过式2计算去区域能量;然后通过下式计算权重:e(m,n)=ETV(m,n)/(ETV(m,n)+EIR(m,n)) (4)式中,e(m,n)为所求权重,ETV(m,n)和EIR(m,n)分别为可见光图像和红外图像低秩分量的低通子带的区域能量;
最后结合计算得到的权重,融合规则可表达为下式,得到融合结果,
dF(m,n)=e(m,n)×dTV(m,n)+(1-e(m,n))×dIR(m,n) (5)式中dF(m,n)表示融合结果,e(m,n)表示加权系数,dTV(m,n),dIR(m,n)分别表示可见光和红外图像的矩阵,ETV(m,n),EIR(m,n)表分别示可见光和红外图像矩阵的区域能量。
3.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,步骤3所述的带通子带融合,采用如下融合规则:带通子带包含丰富的边缘和纹理信息,采用基于平均梯度的融合规则;首先确定窗口的大小,然后通过式(6)、(7)计算出区域的平均梯度,最后选择平均梯度大的点作为融合结果值;
式(6)中G为平均梯度,块大小为M×N, 分别表示x,y方向的梯度平方,式(7)中LFN(i,j),LFA(i,j),LFB(i,j)分别表示融合子带,红外图像的子带以及可见光的子带,GA(i,j),GB(i,j)分别表示俩类图像子带的平均梯度;
在得到融合的稀疏分量与低秩分量之后将俩分量进行叠加恢复便得到最终的融合结果。
4.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,步骤3所述的D=2I,I为二阶单位矩阵。