欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021103312895
申请人: 深圳清元文化科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于HoloLens空间映射的三维场景语义分析方法,其特征在于,具体按照以下步骤实施:步骤1:通过HoloLens对室内真实场景进行扫描重建,获得场景的三维空间映射的网格数据a;

步骤2:将步骤1得到的网格数据a转换成点云数据b,并完成点云数据b的预处理和数据标注;

步骤3:不断重复步骤1和步骤2,直至完成所需要室内数据的采集和标注,并制作成室内点云数据集以及类别信息查找表;

步骤4:对三维场景语义神经网络进行模型训练,并保存训练模型M;

所述步骤4三维场景语义神经网络的搭建和训练具体按照以下步骤实施:步骤4.1、求取点云法向量,求取过程如下:

假设平面方程:

求重心:

去重心:

求系数:

对系数求偏导:

求协方差矩阵A最小特征向量[a,b,c],即为所求之法向量;

步骤4.2、三维场景语义神经网络结构进行训练;

所述步骤4中三维场景语义神经网络包括有基础网络层和多尺度融合层,所述基础网络层包括两个多层感知器,一个最大池化层,两个全连接层,一个Dropout层;所述多尺度融合层包括三个单一尺度层,每一层包括最远点采样层、两个多层感知器、上采样层和最大池化层;

所述步骤4.2具体按照以下步骤实施:

步骤4.2.1、三个单一尺度层提取的特征f1、f2和f3按加和方式融合,再将基础网络层的局部特征f4与全局特征f5按拼接方式融合;

步骤4.2.2、将融合后的特征f6,经过多层感知器进行特征提取;

步骤4.2.1、将包含100组三维场景的训练集数据输入搭建好的神经网络进行模型训练,训练过程中进行学习率、正则化参数调整;

步骤4.2.3、三维场景语义神经网络经过4500次训练,每一轮训练都从训练集中随机的选出一组点进行训练,每组包含24×4096个点云,得到训练模型M并保存为.ckpt格式数据。

步骤5:HoloLens场景语义分析工具包制作,完成场景信息标注和空间区域划分,提高HoloLens对空间认知能力;

所述步骤5中HoloLens场景语义分析工具包制作,具体按照步骤实施:步骤5.1、通过Unity3D创建UWP程序,用于HoloLens开发;

步骤5.2、利用HoloLens空间映射能力对室内环境进行三维场景采集后得到待测点云数据p;

步骤5.3、加载训练模型M,通过训练模型M对点云数据p进行语义分析得到三维数据p1;

步骤5.4、对三维数据p1进行泊松重建得到网格数据p2;

步骤5.5、获取HoloLens视觉凝视点对应的三维真实坐标v;

步骤5.6、判断三维真实坐标v属于网格数据p2内哪个类别范围内的坐标点,获取该类别的点云集合P以及通过类别查找获取的类别信息L和颜色信息C;

步骤5.7、计算点云集合P同一法向量朝向的平面,将其归一化至统一平面S,并获取平面S的边界坐标bp的中心坐标cp;

步骤5.8、创建虚拟网格模型,其边界坐标为bp,中心坐标cp,颜色信息C;通过空间映射将网格模型映射在真实空间内,并完成类别信息L的标注。

2.根据权利要求1所述一种基于HoloLens空间映射的三维场景语义分析方法,其特征在于,所述步骤1具体按照以下步骤实施:步骤1.1、通过局域网内PC端登录HoloLensIP地址;

步骤1.2、佩戴HoloLens在室内场景中走动,HoloLens将进行场景建模;

步骤1.3、不断更新网页端,并下载HoloLens空间映射的室内场景网格数据a,保存格式为.obj。

3.根据权利要求2所述的一种基于HoloLens空间映射的三维场景语义分析方法,其特征在于,所述步骤2具体按照以下步骤实施:步骤2.1、对网格数据a进行泊松圆盘采样,通过选择不同的半径r对点云N个邻域点进行采样判断,N为30~50,得到均匀分布的点云数据b;

步骤2.2、将点云数据b依次经过直通滤波、统计滤波和双边滤波进行离群点剔除,得到点云数据c。

4.根据权利要求3所述的一种基于HoloLens空间映射的三维场景语义分析方法,其特征在于,所述步骤2.2的统计滤波的操作包含每个点周围K个近邻统计点的设置和离群点阈值设定,K为30~50,离群点阈值设置为0~1。