欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021101490031
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于,包括以下步骤:

步骤1,归一化预处理待匹配的航天遥感图像和航空遥感图像;

步骤2,将步骤1中预处理之后的图像对输入神经网络的特征提取器中,获得三维特征图;

步骤3,对步骤2所得的三维特征图进行稠密特征筛选,得到多视角显著特征点集;

步骤4,结合步骤2的三维特征图和步骤3所得的多视角显著特征点集,构建特征点的描述符;

步骤5,神经网络训练的损失函数设为一种三元组损失函数,通过该损失函数使神经网络参数进行自适应调整;

步骤6,根据步骤4得到的特征点的描述值,进行粗匹配;

步骤7,对步骤6所得的粗匹配结果进行精筛,得到最终匹配结果。

2.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:步骤3的具体实现包含以下子步骤;

3a)为了提取更多以及在多视角和多尺度更显著的特征点,结合稠密特征的思路,使用

3*3*n的网格分割步骤2所得的三维特征图F,如下所示:l×w×n 3×3×n

F =k×g

g代表着每个网格,k则是网格的数量,l、w和n分别为长度,宽度和通道数;

3b)每个g中存在3*3*n个像素值,相当于9个n维向量,每个向量都代表着图像中一个点的特征,从中筛选出在各个维度特征显著的点,采用以下公式:Dij=max(dij),dij∈g其中dij代表着每个属于g区域的特征点,i、j代表着特征点在图像中的的像素坐标,I代表着特征点在不同维度的像素值,n则是代表维度,D为筛选出的显著特征点;

3c)为了提取更多显著的特征点和减少提取无用的特征点,在提取每个网格中局部最显著特征点的同时再做一层筛选,设定两个优先级更高的判定:一、如果该特征点在各个维度的显著度高于等于设定的阈值t1,便将其直接设为显著特征点,保存该特征点位置信息;

二、如果该特征点在各个维度的显著度低于设定的阈值t2,即便是网格区域内最显著特征点,也舍弃该点;

判定公式如下:

Dij=dij,dij≥t1Dij≠dij,dij

3d)经过多层筛选后,得到代表全图各个显著稠密特征点的像素位置坐标点集D,其中每个显著特征点Dij∈D,0

3.根据权利要求2所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:步骤4中所述的构建特征点的描述符,包含以下子步骤;

4a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置:每个特征点

1 2 n T m

为Dij=[Dij ,Dij ,…,Dij ] ,其中任一显著特征点在任一维度像素值为Dij ,m的取值为1,

2,…,n;n代表着特征点所在的所有维度;

4b)围绕着任一显著特征点Dij构建描述符,受SIFT匹配算法的启发,首先提取显著特征点的梯度信息:

首先找出特征点Dij最为显著的维度m,公式如下:m 1 2 n

Dij=max(Dij ,Dij ,…,Dij)然后在此维度提取该特征点与周围的梯度信息,以该点为中心构造一个3*3的矩阵,该矩阵包含特征点Dij在内共有9个点,根据这9个点在m维度的像素值计算得出特征点Dij的梯度信息,计算公式如下:

m

其中e为常数,di′j′为包含特征点Dij在内及其周围点共9个点在m维度的像素值,通过该公式就能得到包含特征点Dij简单梯度信息的特征描述值αij;

4c)然后提取显著特征点的视角差异信息:由于提取的显著特征点在某些维度的信息会比较显著,而在另一些维度信息就没那么显著,根据这些差异信息来凸显各个显著特征点之中的差异,计算视角差异信息公式如下:其中 为特征点Dij在各个维度的平均像素值,通过该公式计算得出包含特征点Dij视角差异信息的特征描述值βij;

4d)最后综合算得特征描述符由于上述两种特征描述值均为一维的数值,为了凸显各显著特征点的差异性,最终的特征描述符采取上述两种特征描述值相乘得到的方式,公式如下:sij=αij·βij

sij便为特征点Dij的特征描述符,其中包含特征点的梯度信息和视角差异信息,综合得到整幅图像的描述符集合S。

4.根据权利要求2所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:t1的取值为 t2的取值为 dmax为全局最显著特征点。

5.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:步骤5中三元组损失函数设计如下;

首先设有一幅图像对I1和I2,同时有一对对应上特征点A和B分别在I1和I2中,其中A∈I1,B∈I2,经过神经网络输出后,A和B的描述符距离公式为:r为A和B之间的描述符距离,sA和sB分别为A和B的描述符数值;

同时会有一对点N1和N2,分别为与A和B最为相似的点结构,该点得出的公式如下:P∈I1且

其中 表示点到点的像素坐标距离,该距离需大于K,避免N1与A点相邻,N2点的计算公式和N1相同;然后通过下列公式计算A和B点与其不相关的近似点距离:三元组损失函数中有一个margin值,设置一个合理的margin值很关键,这是衡量相似度的重要指标;简而言之,margin值设置的越小,loss很容易趋近于0,但很难区分相似的图像,margin值设置的越大,loss值较难趋近于0,甚至导致网络不收敛;所以三元损失函数margin值按照下列公式设置:

2 2

u=max(0,M+p‑r)最终三元组损失函数公式如下:其中C为图像对I1和I2中的包含A和B在内的对应点集,损失函数越小就代表着对应点描述符的值越接近,不相关点描述符值差异越大,所以神经网络向损失函数越小的方向进化也就意味着向匹配更精确的方向进化。

6.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:步骤6中根据步骤4得到的特征点的描述值采用使用Flann进行特征匹配,得到粗匹配的结果。

7.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法,其特征在于:步骤7通过RANSAC算法对步骤6所得的粗匹配结果进行精筛,得到多视角遥感图像之间最终的匹配结果。