欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022106146482
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多尺度特征融合和特征增强的遥感图像目标检测方法,其特征在于,所述方法通过自适应多尺度特征融合模块,对不同分辨率的特征实现自上而下特征融合的同时,还采用横向连接,增加相邻特征之间的交流,然后通过注意力特征增强模块,结合多分支空洞卷积与注意力机制,提高网络对目标尺度的泛化能力的同时增强有效特征信息,提高目标检测的能力,具体如下:步骤1:提取输入遥感图像特征,主干网络采用ResNet网络,将遥感图像输入所述主干网络,通过多组卷积、池化的操作,在ResNet网络的最后四层输出得到不同分辨率的多尺度特征图组{C1,C2,C3,C4};

步骤2:特征通道数调整,将所述多尺度特征图组{C1,C2,C3,C4}分别进行一次1x1的卷积操作,将所述多尺度特征图的通道数调整到与最浅层特征图C1一致,得到特征图组{P1,P2,P3,P4};

步骤3:采用所述自适应多尺度特征融合模块对步骤2得到的特征图组{P1,P2,P3,P4}进行特征融合,包括第一自上而下融合阶段、自下而上融合阶段、第二自上而下融合阶段,具体为:步骤31:第一自上而下融合阶段,在融合过程中引入横向连接,逐级融合,从最深层特征图P4开始,通过将P4上采样之后与P3融合得到 ,P3上采样之后与 融合得到 ,P2上采样之后与 融合得到 ,完成第一次向前传播;再将 上采样之后与 融合得到 ,将上采样之后与 融合得到 ,完成第二次向前传播;最后将 上采样之后与 融合得到 ,完成第三次向前传播,最终得到特征图组 ;

步骤32:自下而上融合阶段,通过将步骤31得到的特征图组从最浅层特征 开始,将两倍下采样之后与 和 融合得到 ,再将 两倍下采样之后与 和 融合得到,最后将 两倍下采样之后与P4融合得到 ,最终得到特征图组 ;

步骤33:第二自上而下融合阶段,将步骤32得到的特征图组,从最深层特征 开始依次上采样逐层相加,得到尺寸为P/4的高分辨率第一特征图Pout;

步骤4:将步骤33得到的所述第一特征图Pout输入到所述注意力特征增强模块进行特征增强,所述注意力特征增强模块包括多分支空洞卷积模块和混合注意力机制模块,所述多分支空洞卷积模块的各个分支设置有不同的扩张率,将所述第一特征图Pout经过不同扩张率卷积后的特征融合到一起得到第二特征图F1;

步骤5:将所述第二特征图F1输入到所述混合注意力机制模块抑制背景和噪声,所述混合注意力机制模块包括通道域注意力模块和空间域注意力模块,所述第二特征图F1经过所述通道域注意力模块和所述空间域注意力模块的处理后得到第三特征图Fout;

步骤6:通过分类和回归得到最后的检测结果,将步骤5输出的第三特征图Fout经过三个

3x3的卷积分支后得到中心点预测结果、中心点偏移预测结果和目标宽高预测结果,通过融合三个预测结果得到最终的预测结果。

2.如权利要求1所述的基于多尺度特征融合和特征增强的遥感图像目标检测方法,其特征在于,所述混合注意力机制模块得到第三特征图Fout的具体过程为:步骤51:将步骤4得到的第二特征图F1输入所述通道域注意力模块,首先通过全局平均池化GAP把每个通道的所有特征值相加再取平均,把二维特征图变成一个实数,得到一个Cx1x1的向量,C表示通道数,沿着通道维度同时使用全局平均池化GAP和全局最大池化GMP,并分别将其送入2个全连接层训练学习,得到2个一维的通道权重序列,将2组通道权重序列相加再经过Sigmoid激活函数后映射到[0,1],最终得到1组权重序列,将其与所述第二特征图F1进行特征加权得到中间特征图 ,完成通道域注意力操作;

步骤52:将所述中间特征图 分别经过全局平均池化GAP和全局最大池化GMP得到2个单通道的特征图,将2个单通道特征图按照通道维度连接并进行一个卷积操作得到空间域注意力特征图,然后通过一个Sigmoid激活函数后映射到[0,1],即得到空间域注意力权值,将其与所述中间特征图 相乘,即可得到最终的第三特征图Fout。

3.如权利要求2所述的基于多尺度特征融合和特征增强的遥感图像目标检测方法,其特征在于,步骤3中的特征融合模块还考虑到不同分辨率特征对融合后的特征贡献度会有不同,增加了可学习的权重系数,实现自适应融合的效果,从而改善了特征的比例不变性,具体实现过程:首先将待融合的多尺度特征的分辨率调整到一致,调整手段为:

(1)在第一自上而下阶段时,将深层特征通过最近邻插值法进行两倍上采样;

(2)在自下而上阶段时,将浅层特征通过最大池化进行两倍下采样,然后将调整后的特征分别与它们对应的权重系数相乘后,再逐元素相加,最后经过Swish激活函数、卷积和批归一化来融合特征。