欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023107598602
申请人: 长春理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多模态加权融合的强背景光下目标偏振探测系统,其特征在于,包括图像信号采集模块,用于多通道的图像信息采集和信号转换;

基于YoLoV3神经网络的特征提取模块,用于加深网络层数,增强特征提取能力,获得结合强度信息与偏振信息的融合特征图,提取强度模态与偏振光模态的特征差异;

基于Darknet神经网络的特征提取模块,用于获得包含丰富细节信息的特征图像,和高动态范围图像的特征值提取;

基于残差网络的特征融合模块,用于学习不同模态间的权重,使得不同模态的特征信息可以更好地融合,获得更好结合高动态范围图像模态信息,强度模态信息与偏振模态信息的融合特征图,利用注意力机制处理对融合后的特征图进行选择和优化;

图像打印模块,用于过滤背景信息,打印出只包含准确目标信息的图像;

所述图像信号采集模块包括滤光片、偏振片、CCD探测器、多路复用器和A/D转换器;

所述滤光片将接收到的图像依次经过偏振片、CCD探测器分别传输至基于YoLoV3神经网络的特征提取模块与多路复用器,所述多路复用器将接收到的图像经过A/D转换器传输至基于Darknet神经网络的特征提取模块;

所述基于Darknet神经网络的特征提取模块包括亮度层图像转换、色度层图像转换、亮度层图像分区、对数压缩、引导滤波、亮度层色度层融合和亮度色度融合图像特征提取;

所述亮度层图像转换和色度层图像转换分别接收A/D转换器发送的高动态范围目标信息图像,所述亮度层图像转换将高动态范围目标信息图像进行亮度层图像分区后再进行对数压缩,将对数压缩后的图像信号分别进行引导滤波与亮度层色度层融合,将色度层图像转换后的图像信号也进行引导滤波,将亮度层色度层融合后的图像进行特征提取并传输至基于残差网络的特征融合模块。

2.根据权利要求1所述的强背景光下目标偏振探测系统,其特征在于,所述基于YoLoV3神经网络的特征提取模块包括卷积层、归一化层、Leaky ReLU激活函数、强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块;

所述卷积层接收CCD探测器的图像信号,并通过归一化层和Leaky ReLU激活函数后,分别传输至强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块,所述强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号传输至基于残差网络的特征融合模块。

3.根据权利要求1或2所述的强背景光下目标偏振探测系统,其特征在于,所述基于残差网络的特征融合模块包括Res1残差网络单元、Res2残差网络单元、Res8残差网络单元、Res4残差网络单元、多模态信息整合、Concat级联、权重分析、加权融合、注意力机制处理、损失函数分析和最终特征图采集;

所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元及Res4残差网络单元,有效避免由于网络层数过深导致的模型退化问题;

所述Res1残差网络单元、Res2残差网络单元、Res8残差网络单元和Res4残差网络单元接收强度信息多尺度特征提取模块和偏振信息多尺度特征提取模块将提取特征后的图像信号与将亮度层色度层融合后进行特征提取的图像信号并将其分别传输至多模态信息整合、Concat级联和权重分析,并将三组特征的图像依次进行加权融合、注意力机制处理、损失函数分析和最终特征图采集后将最终特征图传输至图像打印模块。

4.根据权利要求1所述的强背景光下目标偏振探测系统,其特征在于,所述图像打印模块包括阈值比对、半色调图像生成和图像打印;

将最终特征图的像素点的灰度值与设定阈值进行比对后,对图像进行半色调图像生成最终打印出只包含准确目标信息的图像。

5.一种多模态加权融合的强背景光下目标偏振探测方法,其特征在于,所述目标偏振探测方法使用如权利要求1‑4任一所述多模态加权融合的强背景光下目标偏振探测系统,所述目标偏振探测方法具体包括以下步骤:步骤1:将滤光片和偏振片与CCD探测器以对齐的方式镶嵌;每组与CCD探测器对齐镶嵌的一个滤光片和或一个偏振片构成一条通道,共计7条通道;

步骤2:分别获取步骤1中7条通道的目标信息图像,并将7条通道的目标信息图像整合到一条图像信道并将图像信号转换成高动态范围目标信息图像;

步骤3:将步骤2的目标信息图像传递到基于YoLoV3神经网络的特征提取模块进行编码、解码操作;

步骤4:将步骤3解码后的信息代入Leaky ReLU激活函数,并获取强度模态的特征图{I1,I2,I3}和偏振模态的特征图{P1,P2,P3};

步骤5:基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像,将图像信息转换、亮度分区、对数压缩并分区后对高亮层图像经压缩后结果进行导引滤波后,再进行亮度色度融合图像,最终获得亮度色度融合模态的特征图{V1,V2,V3};

步骤6:将步骤4的强度模态的特征图{I1,I2,I3}、偏振模态的特征图{P1,P2,P3}和亮度色度融合模态的特征图{V1,V2,V3}进行多模态加权融合,再进行降维,对降维后的不同模态的特征进行描述,再进行特征图融合后,得到加权融合特征图;

步骤7:对步骤6的加权融合特征图进行优化后再进行损失函数分析,将得到的包含细节信息最丰富的最终特征图像传递到图像打印模块;

步骤8:对步骤7得到的最终特征图像的像素点的灰度值与阈值δ进行比对,对背景和目标进行分割;

当像素点的灰度值大于阈值δ时,将该像素点划分为背景像素点;当像素点的灰度值小于阈值δ时,将该像素点划分为目标像素点,进而实现背景和目标的分割;阈值δ是神经网络基于图像信息实时获取的;

步骤9:将步骤8的分割后的目标信息生成半色调图像并打印。

6.根据权利要求5所述的强背景光下目标偏振探测方法,其特征在于,所述步骤3具体为,步骤3.1:基于YoLoV3神经网络的特征提取模块采集来自多通道的CCD探测器的目标信息图像,并传递到卷积层对这些信息进行编码操作;

步骤3.2:卷积层对信息进行编码后,传递到归一化层进行解码操作;

所述步骤4具体为,

步骤4.1:解码后的信息代入Leaky ReLU激活函数中运行,使神经网络的表现力更强,获取更好的数据拟合;

步骤4.2:将步骤4.2运行后信息的YoLoV3神经网络在强度和偏振两个分支上分别获取

3个多尺度的特征图,强度模态的特征图记为{I1,I2,I3},偏振模态的特征图记为{P1,P2,P3}。

7.根据权利要求5所述的强背景光下目标偏振探测方法,其特征在于,所述步骤5具体为,步骤5.1:基于Darknet53神经网络的特征提取模块采集来自A/D转换器输出的高动态范围目标信息图像;并通过颜色空间转换将输入的高动态范围图像转换到L*a*b*空间,L*记录图像亮度数据,a*与b*记录图像色度细节,从而得到亮度层和色度层图像;

步骤5.2:依据L*可得具体图像亮度数据,求取图像最大亮度值\最小亮度值,采取亮度分区法把亮度图像划分为低暗、适中、高亮三个区间;

步骤5.3:接着对亮度层图像进行对数压缩并分区,由于高动态范围图像具有较大的动态区间,实现显示效果较差的不同亮度区域图像的相同校正系数;对高亮层图像进行划分,对数映射后在不同区域选择不同的调整参数γ,以校正亮度层图像;

步骤5.4:以高亮层图像经压缩后结果作为导引图像,对色度层图像进行导引滤波;

步骤5.5:把色度层在滤波后的图像和高亮层压缩后的图像相结合获得亮度色度融合图像,利用Darknet53神经网络在亮度色度融合图中提取3个多尺度的特征图,亮度色度融合模态的特征图记为{V1,V2,V3}。

8.根据权利要求5所述的强背景光下目标偏振探测方法,其特征在于,所述步骤6具体为,步骤6.1:使用残差网络,对所提取到的强度模态特征,偏振模态特征和亮度色度融合模态特征进行多模态加权融合;

步骤6.2:用神经网络对不同模态特征图{I1,I2,I3},{P1,P2,P3}和{V1,V2,V3}进行降维,以完成各模态在不同通道上的信息整合;

步骤6.3:利用Concat级联,对不同模态的特征进行描述,亮度色度融合模态的特征描述符为Av,偏振模态的特征描述符为Ap,强度模态的特征描述符为AI,相加后记为Am;

步骤6.4:将三个模态的特征描述符分别除以特征描述符之和Am,作为各自模态的权重,与特征图相乘后再级联融合,作为加权融合特征图;

步骤6.5:对步骤6.2‑6.4所得到的三组特征行加权融合,得到多模态加权融合特征图记为{M1,M2,M3}。