欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2024108102897
申请人: 深圳维清知识产权服务有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-03-20
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多源信息融合的地图重建方法,其特征在于,包括:

获取由无人机采集的目标区域的俯拍图像;

从数据库提取所述目标区域的卫星图像;

对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图;

将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图;

将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征;

基于所述目标区域多模态融合表示特征,得到目标区域三维模型。

2.根据权利要求1所述的基于多源信息融合的地图重建方法,其特征在于,对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图,包括:将所述目标区域的俯拍图像和所述目标区域的卫星图像分别通过基于空洞卷积神经网络模型的目标区域影像特征提取器以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图。

3.根据权利要求2所述的基于多源信息融合的地图重建方法,其特征在于,将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图,包括:计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的全通道目标区域特征相似度矩阵;

对所述全通道目标区域特征相似度矩阵进行归一化处理以得到归一化全通道目标区域特征相似度矩阵;

基于所述归一化全通道目标区域特征相似度矩阵计算目标区域俯拍图像协同关注权重向量和目标区域卫星图像协同关注权重向量;

以所述目标区域俯拍图像协同关注权重向量和所述目标区域卫星图像协同关注权重向量作为权重向量,分别计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图的逐通道乘积以得到所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图;

其中,对所述全通道目标区域特征相似度矩阵进行归一化处理以得到归一化全通道目标区域特征相似度矩阵,包括:以所述全通道目标区域特征相似度矩阵中的每个特征值作为自然常数的指数,以计算按位置的以自然常数为底的指数函数值以得到目标区域全通道特征相似度类支持矩阵;

计算所述目标区域全通道特征相似度类支持矩阵中的各个列向量的加和以得到由多个列向量全局加和值组成的目标区域全通道特征相似度类支持列全局向量;

计算所述目标区域全通道特征相似度类支持矩阵中的各个特征值与所述目标区域全通道特征相似度类支持列全局向量中相应的列向量全局加和值之间的按位置除法以得到所述归一化全通道目标区域特征相似度矩阵。

4.根据权利要求3所述的基于多源信息融合的地图重建方法,其特征在于,计算所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的全通道目标区域特征相似度矩阵,包括:对所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图进行形状重塑以得到目标区域俯拍图像特征矩阵和目标区域卫星图像特征矩阵;

计算所述目标区域俯拍图像特征矩阵和所述目标区域卫星图像特征矩阵的转置矩阵之间的乘积以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图之间的所述全通道目标区域特征相似度矩阵。

5.根据权利要求4所述的基于多源信息融合的地图重建方法,其特征在于,基于所述归一化全通道目标区域特征相似度矩阵计算目标区域俯拍图像协同关注权重向量和目标区域卫星图像协同关注权重向量,包括:对所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图进行沿通道维度的全局均值池化以得到目标区域俯拍图像全通道特征向量和目标区域卫星图像全通道特征向量;

计算所述归一化全通道目标区域特征相似度矩阵与所述目标区域俯拍图像全通道特征向量之间的矩阵乘积以得到所述目标区域俯拍图像协同关注权重向量;

计算所述归一化全通道目标区域特征相似度矩阵与所述目标区域卫星图像全通道特征向量之间的矩阵乘积以得到所述目标区域卫星图像协同关注权重向量。

6.根据权利要求5所述的基于多源信息融合的地图重建方法,其特征在于,将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征,包括:将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像进行级联以得到目标区域俯拍-目标区域卫星串联特征图;

对所述目标区域俯拍-目标区域卫星串联特征图进行卷积编码以得到目标区域俯拍-目标区域卫星关联特征图;

对所述目标区域俯拍-目标区域卫星关联特征图进行批量归一化处理以得到归一化目标区域俯拍-目标区域卫星关联特征图;

对所述归一化目标区域俯拍-目标区域卫星关联特征图进行基于最大值的全局池化处理、基于随机值的全局池化处理和基于平均值的全局池化处理以得到目标区域俯拍-目标区域卫星全局最大值池化特征向量、目标区域俯拍-目标区域卫星全局随机值池化特征向量和目标区域俯拍-目标区域卫星全局均值池化特征向量;

计算所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量之间的按位置加权和以得到目标区域俯拍-目标区域卫星关联多尺度池化表示向量;

以所述目标区域俯拍-目标区域卫星关联多尺度池化表示向量中各个位置的特征值作为权重,对所述协同关注强化目标区域俯拍图像特征图的沿通道维度的各个特征矩阵进行加权以得到所述目标区域多模态融合表示特征图。

7.根据权利要求6所述的基于多源信息融合的地图重建方法,其特征在于,计算所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量之间的按位置加权和以得到目标区域俯拍-目标区域卫星关联多尺度池化表示向量,包括:将所述目标区域俯拍-目标区域卫星全局最大值池化特征向量、所述目标区域俯拍-目标区域卫星全局随机值池化特征向量和所述目标区域俯拍-目标区域卫星全局均值池化特征向量分别与相应的调整参数进行按位置相乘以得到目标区域俯拍-目标区域卫星全局最大值调制特征向量、目标区域俯拍-目标区域卫星全局随机值调制特征向量和目标区域俯拍-目标区域卫星全局均值调制特征向量;

将所述目标区域俯拍-目标区域卫星全局最大值调制特征向量、所述目标区域俯拍-目标区域卫星全局随机值调制特征向量和所述目标区域俯拍-目标区域卫星全局均值调制特征向量进行按位置相加以得到所述目标区域俯拍-目标区域卫星关联多尺度池化表示向量。

8.根据权利要求7所述的基于多源信息融合的地图重建方法,其特征在于,基于所述目标区域多模态融合表示特征,得到目标区域三维模型,包括:将所述目标区域多模态融合表示特征图通过基于对抗生成网络的三维建模器以得到目标区域三维模型。

9.一种基于多源信息融合的地图重建系统,其特征在于,包括:

目标区域的俯拍图像采集模块,用于获取由无人机采集的目标区域的俯拍图像;

目标区域的卫星图像采集模块,用于从数据库提取所述目标区域的卫星图像;

目标区域影像特征提取模块,用于对所述目标区域的俯拍图像和所述目标区域的卫星图像分别进行目标区域影像特征提取以得到目标区域俯拍图像特征图和目标区域卫星图像特征图;

协同关注强化模块,用于将所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图输入协同关注模块以得到协同关注强化目标区域俯拍图像特征图和协同关注强化目标区域卫星图像特征图;

多通道特征融合模块,用于将所述协同关注强化目标区域俯拍图像特征图和所述协同关注强化目标区域卫星图像特征图输入多通道特征融合模块以得到目标区域多模态融合表示特征图作为目标区域多模态融合表示特征;

目标区域三维模型生成模块,用于基于所述目标区域多模态融合表示特征,得到目标区域三维模型。

10.根据权利要求9所述的基于多源信息融合的地图重建系统,其特征在于,所述目标区域影像特征提取模块,用于:将所述目标区域的俯拍图像和所述目标区域的卫星图像分别通过基于空洞卷积神经网络模型的目标区域影像特征提取器以得到所述目标区域俯拍图像特征图和所述目标区域卫星图像特征图。