欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020102242674
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,包括如下步骤:

1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet;

2)构建训练样本集对步骤1)中的深度学习网络进行训练,得到训练后的网络FSNet,并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet;

3)对待匹配的多模态遥感影像中的参考影像 和搜索影像 进行降采样,并利用步骤

2)中训练好的CSNet网络提取影像深度特征图;

4)基于步骤3)获取的降采样后参考影像 的深度特征图和降采样后搜索影像 的深度特征图估计原始参考影像 和原始搜索影像 之间的单应性变换模型H,并对原始搜索影像 进行几何纠正,得到纠正后搜索影像

5)基于原始参考影像 和纠正后的搜索影像 生成待匹配特征对,并利用FSNet网络进行匹配判别,得到匹配集合MatchSetRS’;

6)利用步骤4)估计得到的原始参考影像 与原始搜索影像 之间的单应性变换模型H‑1

的逆变换H ,将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像 上的点坐标反算回原始搜索影像 得到原始参考影像 与原始搜索影像 的匹配结果。

在步骤1)中,FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成;其中,CSNet网络的每个分支由5个卷积模块构成,两分支之间通过共享权重降低网络参数量;

每个卷积模块采取了“Conv+BN+ReLU”构建策略;

采取“Conv+BN+ReLU”构建策略时,CSNet的5个卷积层的具体参数C(n,m,k)分别设置为:C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1);其中n表示卷积层中卷积核的个数,m×m表示卷积核的尺寸,k表示卷积核进行卷积运算时的步长;

步骤2)包括如下具体步骤:

21)构建正样本集:分别从可见光‑近红外、光学‑SAR以及光学‑LiDAR影像上制作训练样本;

22)构建负样本集,其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成;

23)构建完整样本集:通过步骤21)和步骤22),对于M对正样本,将产生M对普通负样本和M对顾及样本距离的负样本;从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对,形成M对负样本,最终得到包含M对正样本和M对负样本的完整样本集;

24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练;

25)通过步骤24)训练得到FSNet以后,从中截取卷积模块得到特征提取网络CSNet;

步骤21)包括如下具体步骤:

211)可见光‑近红外正样本:从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块,获取可见光‑近红外影像正样本;

212)光学‑SAR及光学‑LiDAR正样本:采用人工选取控制点的方式进行几何纠正;然后对已经经过几何纠正的光学‑SAR及光学‑LiDAR影像,采用基于相位一致性的影像特征匹配方法进行特征匹配,并利用RANSAC算法对特征匹配结果进行误匹配剔除,获取正确匹配点;

再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块,获得正样本;

步骤22)包括如下具体步骤:

221)普通负样本构建:假设正样本集PSSet如式(1)所示,样本集包含M对样本,每对样本由两个影像块构成:

那么,对于正样本集中任意一对样本中的一幅影像块 将其作为普通负样本对中的一幅影像块 随机从其他正样本对的配对影像中选择一幅影像块 作为普通负样本对中的另一幅影像块 形成一对普通负样本 得到普通负样本集GNSSet如式(2)所示:

222)顾及样本距离的负样本构建:对于任意一对正样本 对应的匹配点(pi,qi),在搜索影像上距离同名点qi为r像素的圆上,以竖直向上为起点,等间隔确定8个点,从这8个点中随机取一个点作为负样本点Nqi,以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块 同时将参考影像上pi点为中心的影像块 作为顾及样本距离的负样本对中的另一幅影像块 形成一对顾及样本距离的负样本对

对每对正样本对都进行步骤222)中的处理,得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示:

2.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,在步骤24)中,每次迭代的样本批次大小为32对样本;选择动量优化法作为网络优化器,网络初始学习率为0.001,动量为0.9;当平均训练损失值低于0.001时,网络终止训练。

3.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤3)包括如下具体步骤:

31)分别对待匹配影像对中的原始参考影像 和搜索影像 进行降采样,然后再输入CSNet进行深度特征图计算;在降采样操作中,为了保持原始影像 和 间的尺度关系不变,需要对参考影像 和搜索影像 保持相同的降采样率;因此,按公式(4)进行降采样运算:

式中,[Rr,Cr]代表原始参考影像 的行、列数,[Rs,Cs]代表原始搜索影像 的行、列数;

[R′r,C′r]代表降采样后的参考影像 的行、列数,[R′s,C′s]代表降采样后的搜索影像 的行、列数;β为降采样因子;

32)利用步骤2)中训练好的CSNet网络对降采样后的参考影像 和降采样后的搜索影像 计算深度特征图。

4.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤4)包括如下具体步骤:

41)采用基于特征词袋BoF的影像检索方法计算降采样后参考影像 的每幅深度特征图与降采样后搜索影像 的每幅深度特征图的相似度;

42)找到相似度最高的3对深度特征图,分别对这3对深度特征图进行SIFT特征匹配;

43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合,利用RANSAC算法剔除匹配点集合中的外点,并估计深度特征图之间的单应性变换模型;

44)基于步骤43)估计的深度特征图之间的单应性变换模型,由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系,以及CSNet输入的降采样影像与原始影像之间的尺度关系,推导出原始参考影像 与原始搜索影像 之间的单应性变换模型H;

45)利用得到的单应性变换模型H对原始搜索影像 进行几何纠正,并利用双线性内插方法进行重采样,得到纠正后的影像 实现原始搜索影像与原始参考影像的粗配准。

5.根据权利要求1~4任意一项所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤5)包括如下具体步骤:

51)利用分块Harris算法对原始参考影像 提取特征点,并以每个特征点为中心裁取

97×97像素大小的影像块;

52)对于原始参考影像 上提取的任意特征点pi(x,y),在纠正后搜索影像 上以(x,y)为中心建立大小为w×w的搜索区域,将搜索区域内所有像素作为pi(x,y)的待匹配点;分别以每个待匹配点为中心,在纠正后搜索影像 上裁取大小为97×97像素的影像块,与特征点pi(x,y)对应的影像块组成一对待匹配特征对;将w设置为30个像素,对于参考影像上每个特征点pi(x,y),将生成900对待匹配特征对;

53)将900对待匹配特征对输入训练好FSNet网络中进行计算,将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果;

54)重复步骤52)和步骤53),遍历完所有参考影像上的特征点,得到特征匹配集合MatchSet;利用RANSAC算法对MatchSet进行外点剔除,得到原始参考影像 和纠正后搜索影像 的特征匹配结果MatchSetRS’。