欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019102880704
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-10-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自学习神经单元的图像融合方法,其特征在于,具体包括以下步骤:步骤一、将待融合的红外图像与可见光图像输入Mask R-CNN网络进行处理,得到相应的掩码图像、掩码矩阵、类别信息和得分信息,并获取所需强化的掩码区域;

步骤二、搭建自编码网络,利用卷积神经网络CNN进行图像特征的选取、融合、重构;

步骤三、采用基于编码层特征的卷积融合规则进行融合;

3.1)初始化融合层的卷积权重,并进行稀疏赋值;

3.2)采用最小/最大范数权值约束对融合层权重进行约束;

3.3)采用L1正则项对融合层权重进行惩罚;

步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数;

4.1)计算融合图像与源图像的结构相似度SSIM;

4.2)计算Mask R-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM;

4.3)计算融合图像与源图像的互信息MI;

步骤五、训练神经网络,调整参数,获取最终的融合图像。

2.根据权利要求1所述的一种基于自学习神经单元的图像融合方法,其特征在于,所述步骤3.1)的具体过程为:a.根据编码层最后一个卷积层获取的结果,融合层的Concatenate层将红外与可见光的结果拼接,后接1*1的卷积层;

b.将1*1卷积层的第k个滤波器通道的第I个与I+p个权重 和 初始化,其中,I,k=0,1,2…d,p=D-1-d,D为每个滤波器通道的1*1滤波器数量;

所述步骤3.2)的具体过程为:

c.计算第k个通道D个1*1卷积层权重的和 接着将Sumw截断至(min,max)范围内:

其中,min为输入权值的最小范数,范围为(-1.0,1.0),max为输入权值的最大范数,范围为(-1.0,1.0);j表示滤波器的序号,j=0,1,2…D-1;

d.计算权值在(min,max)范围内的的缩放区域;

其中,rate为强制执行约束的比例,范围为[0,1],严格执行约束,将权值重新调整至rate*Sumarea+(1-rate)*Sumw;当rate<1.0,意味权值将在每一步重新调整以缓慢移动到所需间隔内的值;epsilon是模糊因素,范围为(0.0,1.0),避免分母为0,网络迭代为NAN;

e.将第k个通道的每一个权值约束至Zoomarea范围,并依次对每个通道执行相同的操作:所述步骤3.3)中:

1*1卷积层的正则项为:

其中R为正则项数值,初始值为0,l1为正则项系数, 为第k个滤波器通道第j个1*1滤波器的数值,d为1*1卷积层滤波器通道数;

损失函数包括了两个方面:一个是网络训练样本误差Ein;一个是正则项数值R;L1正则化是在原来的损失函数基础上加上正则项数值R;自编码网络最终的损失函数为:L=Ein+R。

3.根据权利要求1或2所述的一种基于自学习神经单元的图像融合方法,其特征在于,所述步骤4.1)的具体过程为:A)分别计算源图像X,源图像Y,融合图像F的均值μx,μy,μf,方差σx,σy,σf;

其中,,,xi、yi、fi分别为源图像X,源图像Y,融合图像F的第i个的像素值,N为图像X,Y,F的总像素数量;

B)分别计算融合图像F与源图像X、源图像Y的结构相似度SSIM;

其中,C1,C2为常数;

所述步骤4.2)的具体过程为:

C)根据步骤一获取的掩码区域Mq,q为掩码区域的序号,将其分别映射至源图像与融合图像中,分别得到 与D)与步骤4.1)相同,对于 与 计算相应的结构相似度SSIM;

所述步骤4.3)的具体过程为:

E)计算源图像X、源图像Y、融合图像F的边际熵:H(F)=-∑fP(f)log2 P(f);

其中,P(x),P(y),P(f)分别表示源图像X,源图像Y,融合图像F的边际概率分布函数;

F)分别计算源图像X、源图像Y与融合图像F的联合熵:其中,P(x,f)、P(y,f)分别表示源图像X、源图像Y与融合图像F的联合概率密度函数;

G)分别计算源图像X、源图像Y、融合图像F的互信息MI:MI(X,F)=H(X)+H(F)-H(X,F);

MI(Y,F)=H(Y)+H(F)-H(Y,F);

H)计算最终的互信息MI:

4.根据权利要求1或2所述的一种基于自学习神经单元的图像融合方法,其特征在于,所述步骤二中,所述的自编码网络包括编码层、融合层和解码层;编码层由经典卷积神经网络VGG19的前4层组成,包括三个卷积层和一个最大池化层,权重初始化使用经典卷积神经网络VGG19的预定义权重;融合层包括一个Concatenate层与一个1*1的卷积层;解码层是编码层的镜面映射,包含三个卷积层和一个上采样层,最后接一个卷积层输出。

5.根据权利要求3所述的一种基于自学习神经单元的图像融合方法,其特征在于,所述步骤二中,所述的自编码网络包括编码层、融合层和解码层;编码层由经典卷积神经网络VGG19的前4层组成,包括三个卷积层和一个最大池化层,权重初始化使用经典卷积神经网络VGG19的预定义权重;融合层包括一个Concatenate层与一个1*1的卷积层;解码层是编码层的镜面映射,包含三个卷积层和一个上采样层,最后接一个卷积层输出。

6.根据权利要求2所述的一种基于自学习神经单元的图像融合方法,其特征在于,D的取值为256;d的取值为127。

7.根据权利要求3所述的一种基于自学习神经单元的图像融合方法,其特征在于,C1=(K1*L)^2,C2=(K2*L)^2,C3=C2/2,K1=0.01,K2=0.03,L=255;D的取值为256;d的取值为127。

8.根据权利要求5所述的一种基于自学习神经单元的图像融合方法,其特征在于,C1=(K1*L)^2,C2=(K2*L)^2,C3=C2/2,K1=0.01,K2=0.03,L=255;D的取值为256;d的取值为127。

9.根据权利要求2、5、7或8所述的一种基于自学习神经单元的图像融合方法,其特征在于, 和 初始化为0.5。

10.根据权利要求6所述的一种基于自学习神经单元的图像融合方法,其特征在于,和 初始化为0.5。