欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106712495
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义分割的三维室内场景重建方法,其特征在于,具体按照如下步骤实施:步骤1,通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行下采样,然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合,对重复的采样点只保留一个作为有效点,获得下采样后的室内点云数据;

步骤2,对步骤1获得的下采样后的室内点云数据进行平面提取,对提取过平面的数据进行语义分割和精细化分割,将室内场景中的物体区分开来;

具体为:

步骤2.1,采用RANSAC平面提取方法对步骤1得到的下采样后的室内场景点云数据进行平面提取;

步骤2.2,将平面提取后的结果输入PointNet网络进行训练和测试,从而完成初步的语义分割;

具体为:

步骤2.2.1,将开源数据集S3DIS的6个室内场景数据用步骤1‑2.1进行处理,得到6组包括平面特征的室内点云数据,其中,前5组作为训练数据,第6组作为测试数据;将训练数据和测试数据均表示为一个n*10的二阶张量,其中,n表示点云中点的数量,10对应坐标和特征的维度,10个维度包括点云中点的三个坐标x、y、z,颜色R、G、B,三个轴的法向量normal_x、normal_y、normal_z、以及所属平面Plane,其中,所属平面Plane特征是步骤2.1得到的,三个法向量特征是在PointNet神经网络中,通过法向量计算函数得到的;

步骤2.2.2,将训练数据输入到PointNet神经网络框架中训练,得到语义分割网络模型;

步骤2.2.3,将测试数据输入到步骤2.2.2中得到的语义分割网络模型,输出语义分割结果,此时,测试数据的每个点都获得了它的语义分类标签,对应室内场景中每一类物体均被分割;

步骤2.3,对经过初步的语义分割得到语义标签的数据,使用基于投影的区域生长优化算法对同类物体进行进一步的精细化分割;

具体为:

步骤2.3.1,把经过语义分割后的点云投影到xoy平面上,把点对之间的空间距离转换到共面点之间的距离;

步骤2.3.2,对投影到平面上的点云用区域生长算法进行聚类,将投影后的点云聚成一团一团的点,每一团点代表一个物体;

步骤2.3.3,把区域生长聚类的结果恢复到点云,完成室内物体的细分割;

步骤3,将经过分割的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建;

具体为:

步骤3.1,将步骤2中室内场景分割后的结果进行划分:将室内物体划分为内环境场景元素,将房间墙壁上及结构型物体划分为外环境场景元素;

对内环境场景元素进行重建,将内环境的场景元素与对应类别的标准模型库中的标准模型进行匹配,找到最优匹配模型并用该模型替换掉对应的场景元素;

步骤3.2,对外环境场景重建,先对门墙以外的外环境元素使用平面拟合的方式进行重建,门使用模型匹配的方法进行重建,墙面的重建为在平面拟合方法的基础上,将拟合的平面去掉孔洞区域,从而完成墙面的重建。

2.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤1中通过体素滤波采样方法对室内场景进行下采样,具体为:读取原始室内场景的点云数据,设定体素栅格边长为L,假设当前输入的点为p(xi,yi,zi),计算p(xi,yi,zi)对应体素栅格三个坐标轴上的最大最小值,计算公式如(1)所示,从而得到体素栅格的8个顶点坐标:分别是(Xmin,Ymin,Zmin),(Xmin,Ymin,Zmax),(Xmin,Ymax,Zmin),(Xmin,Ymax,Zmax),(Xmax,Ymin,Zmin),(Xmax,Ymin,Zmax),(Xmax,Ymax,Zmin),(Xmax,Ymax,Zmax);

假设,体素栅格中包含m个点,通过公式(2)来计算m个点的重心(X,Y,Z),用其重心作为体素栅格中m点,然后遍历所有体素栅格,得到的所有重心作为整个点云数据,从而完成对整个场景的体素滤波下采样;

3.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤1中通过SIFT特征点提取的方法分别对室内场景进行采样具体为:将原始室内场景的点云数据通过SIFT算法提取特征点,将提取到的特征点作为整个点云数据,从而得到SIFT特征点提取后的下采样数据。

4.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤1将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合,对重复的采样点只保留一个作为有效点,获得室内点云数据具体为:设置距离阈值,以SIFT特征点为基准,在体素滤波的点云中以距离阈值为半径搜索近邻点,有则删除所有的近邻点,对所有的SIFT特征点搜索完成后,把过滤掉重复点的滤波下采样的点云与SIFT特征点输出到同一个文件中,完成数据融合。

5.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤2.1具体为:步骤2.1.1,输入步骤1得到的下采样后的室内场景点云数据;

步骤2.1.2,从输入的散乱的点云中随机选取3个点唯一地确定出一个平面,以这三个点为内点,其余点为外点;

步骤2.1.3,然后计算该平面的邻域中外点的法向量与该平面的法向量的偏差以及该外点到平面的距离是否分别小于预先设置的阈值,若小于,则将该点归入内点,并更新平面,否则,继续判断下一个点,直到该平面领域所有的外点都经过计算判断;

步骤2.1.4,判断经步骤2.1.3更新的平面中内点的数量是否满足大于预先设置的平面内点的最小数量,若满足,则成功地提取到了一个平面;

步骤2.1.5,从步骤1得到的下采样后的室内场景点云数据中剔除掉已经作为步骤

2.1.4提取平面中的内点,对剩余点重复执行步骤2.1.2‑2.1.5提取平面,直到所有的点都有所属的平面,或者剩余外点的数量小于3,到此成功提取场景中所有平面。

6.根据权利要求1所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤3.1中对内环境场景元素进行重建具体为:步骤3.1.1,在公开的三维CAD模型数据集ModelNet40上选取常见形态的桌子、椅子、书架各100个,沙发、门选取各20个,杂物选取50个常见的模型;

步骤3.1.2,将步骤3.1.1选择的CAD模型转化成点云数据,使用均匀采样的方法对CAD模型点云化,获得CAD模型的点云数据,作为模型库;

步骤3.1.3,随机选择一个内环境元素作为待匹配元素,通过使用主成分分析法将待匹配元素与模型库中的每一个同类型的模型进行归一化操作,使待匹配元素与模型具有相同的尺度;

步骤3.1.4,将待匹配元素与模型库中同类型的模型通过SAC‑IA算法计算得到待匹配元素的最优的匹配模型和其初始变换矩阵;

步骤3.1.5,将获得初始变换矩阵的最优匹配模型通过ICP算法进行精确匹配,使得待匹配元素点云与最优匹配模型点云对齐,并输出最优的刚性变换矩阵;随后将最优匹配模型的原始CAD模型通过与最优刚性变换矩阵进行矩阵运算,使得最优匹配模型的CAD模型变换到待匹配元素点云的位置并替换掉它,从而完成该待匹配元素的重建工作,重复步骤

3.1.3‑3.1.5完成对整个室内场景内环境元素的遍历,最终获得室内场景内环境元素的三维重建结果。

7.根据权利要求6所述的一种基于语义分割的三维室内场景重建方法,其特征在于,所述步骤3.2具体为:步骤3.2.1,对非墙面非门元素重建:

选中一个非墙非门的外环境元素,提取该元素的AABB包围盒,求出包围盒的顶点,再对包围盒内部该元素的点进行平面拟合,最后把拟合的平面生成模型,重复该步骤,遍历所有非墙非门的外环境元素,完成对非墙非门元素的三维重建;

步骤3.2.2,门元素的重建工作:

先将不同形态的门元素的CAD模型从ModelNet40数据集中选出并添加到模型库中,然后用步骤3.1.3‑3.1.5的模型匹配的方法完成对门元素的三维重建;

步骤3.2.3,墙面的重建工作,先对门窗以及墙面元素求取AABB包围盒,再用步骤3.2.1的方法对墙面拟合并生成模型;然后再去除墙面拟合模型的孔洞区域:根据包围盒顶点的坐标位置关系判断门窗在哪个墙面上,然后再用墙面拟合模型减去门窗区域的所有点,得到带有孔洞区域的墙面拟合模型,从而完成墙面的三维重建。