欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019113632799
申请人: 鲁东大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,包括以下步骤:a建立室内自然场景三维场景特征识别点信息库,根据三维场景特征识别点对室内自然场景进行三维重建的基本原理,使用三维激光扫描仪扫描室内自然场景,提取室内自然场景三维场景特征识别点;

b对智能手机摄像机的内参数S进行标定,求解智能手机摄像机内参矩阵A;

c建立二维图像特征识别点信息库,通过采集室内自然场景多组图片,提取二维图像特征识别点;

d建立室内自然场景拓扑网络路径地图,拓扑网络路径地图将障碍物、房间区域抽象为节点数据,将通行区域抽象为边,通过边和节点数据组成室内自然场景拓扑网络路径图;

e用智能手机摄像机拍摄当前室内自然场景,获取当前室内自然场景视频图像,检测当前室内自然场景视频图像的自然特征;

f利用深度学习图像分类算法对智能手机摄像机当前拍摄室内自然场景视频图像进行场景分类和在线学习;

g将当前室内自然场景视频图像与离线场景图像库的参考图像进行场景匹配识别,判断当前室内自然场景视频图像与离线场景图像库的参考图像是否相似,如果匹配相似则进入步骤i进行转换关系建立,匹配不相似则进入步骤h进行场景识别;

h设定一个室内自然场景识别失败计数器M,3≤M≤5,当识别次数大于M时,说明进入了一个新室内自然场景,进入步骤a对新室内自然场景进行三维重建;否则由于智能手机摄像头移动过快从而导致匹配失败,重新进入步骤e重新拍摄当前室内自然场景;

i建立二维图像特征识别点坐标到三维场景特征识别点空间坐标的投影矩阵G、室内自然场景拓扑网络路径节点映射表转化关系;

j根据投影矩阵G和已知智能手机摄像机内参矩阵A恢复当前室内自然场景视频图像的位姿矩阵[R|T];

k进行几何校验和反差投影分析当前是否为有效的位姿矩阵[R|T],如果是有效的位姿矩阵[R|T],则进入步骤l合成三维注册矩阵K;否则返回步骤e识别室内自然场景视频图像的自然特征;

l判断是否有效位姿矩阵[R|T],由步骤i建立的投影矩阵G以及建立的世界坐标系和投影坐标系之间的变换关系合成注册所需要的三维注册矩阵K;

m利用光流跟踪算法对室内自然场景二维图像特征识别点进行跟踪和在线学习;

n对跟踪到的二维图像特征识别点进行分析,若跟踪上的特征点个数大于P1并且小于P2,25<P1<35,40<P2<50,跟踪到的特征点数量影响位姿矩阵的注册精度,则进行确实的特征识别点恢复,P1为跟踪点下限,P2为位姿矩阵[R|T]计算质量控制阈值;

o当跟踪到的二维图像特征识别点小于P1,说明对当前场景跟踪失败,用户到达新的室内自然场景需要进行重建和识别,返回步骤a;

p已知步骤i建立的投影矩阵G以及室内自然场景拓扑网络路径节点映射表转化关系,用真实智能手机摄像头的内参数矩阵A和合成三维注册矩阵K,并设定虚拟摄像头的内外参数,对虚拟导航引导物进行虚拟叠加至现实场景,通过显示设备输出;

q显示现场地图和虚拟导航引导箭头,并将所获得的预存离线场景图像信息对应的预存现场位置信息在现场地图中进行标示;

r执行针对目标位置的增强现实室内导航功能命令,所述执行命令包括从用户所在位置到目标位置的相对位置显示、路径显示与虚拟导航指引箭头叠加在现实场景中。

2.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,所述的步骤a中室内自然场景的三维场景特征识别点信息库建立包括如下具体步骤:a对室内自然场景进行标靶布设,保证扫描物体在有效范围之内,避免扫描盲区、减少重复扫描区域;

b确定坐标配准、转换;

c使用三维激光扫描仪扫描室内自然场景,生成高密度三维场景特征识别点云数据;

d抽稀三维场景特征识别点云数据,保留权重值大、特征明显的三维场景特征识别点;

e根据投影矩阵G重建一组二维图像特征识别点与三维场景特征识别点匹配关系;

f建立二维图像特征识别点与三维场景特征识别点、室内自然场景拓扑网络路径节点映射表转化关系。

3.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,所述的步骤b中对智能手机摄像机的内参数S进行标定,求解智能手机摄像机内参矩阵A包括如下具体步骤:a采用张定友棋盘标定法完成对智能手机摄像机内参数S的标定;

b根据智能手机摄像机成像基本原理,建立智能手机显示屏幕坐标系与世界坐标系之间转换关系;

c建立三维场景特征识别点坐标系到世界坐标系转换关系Π;

d建立世界坐标系到动态追踪坐标系的转换关系Φ;

e建立动态追踪坐标系到人眼坐标系的转换关系Ψ;

f建立人眼坐标系到投影平面坐标系的转换关系Γ;

g建立Tξ={Π,Φ,Ψ,Γ};

h由Tξ关系式求解三维场景特征识别点到二维图像上的单应矩阵;

i由单应矩阵求解出智能手机内参矩阵A。

4.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,所述的步骤c中对二维图像特征识别点信息库建立包括如下具体步骤:a从不同角度拍摄待注册室内自然场景的一组图像作为参考图像,并做二维图像特征识别点提取与匹配操作;

b根据二维图像特征识别点匹配结果,利用全概率RANSAC算法去除错误二维图像特征匹配点,根据二维图像特征匹配点求取基本矩阵F;

c由基本矩阵F和已知智能手机摄像机内参数S得到内参矩阵A;

d根据内参矩阵A计算智能手机摄像机外参数R和T;

e根据智能手机摄像机内参数S和外参数R和T组合成投影矩阵G;

f重建一组图像匹配好的二维图像特征识别点。

5.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,所述的步骤d中室内自然场景拓扑网络路径地图建立包括如下具体步骤:a对室内自然场景区域进行划分,将室内自然场景区域划分为两部分,一是可以直接连线,即为最短路径的部分;另一部分则是由阻挡物构成的区域,需要将可通行的区域与不可通行区域进行分离的区域;

b将室内自然场景建筑物抽象为四边形,添加各种地点信息,通过地点所对应相关节点的信息描述,获取室内自然场景各个区域对应节点的信息数据;

c路径点选取,通过Delaunay三角网对室内自然场景区域进行进一步细分,选取细分后的各个三角形中代表性的路径节点来表示这块区域,选择每个Delaunay三角形中的中心作为路径点;

d路径的建立,在路径节点连线通行的前提下,将代表性路径节点连接成室内自然场景拓扑网络路径网;

e路径优化,相邻节点所组成的连接线段最短,对关键路径点进行决策,对电梯、楼梯、扶梯路径点进行标记,得到绕过障碍物、降低复杂程度、提高规划效率;

f室内自然场景多楼层路径规划,先构建各楼层路径网络,根据室内实际情况,对各楼层实施拓扑连接,连接点为进行标记后的路径点,实现跨楼层路径规划;

g建立二维图像特征识别点与三维场景特征识别点、室内自然场景拓扑网络路径节点映射表转化关系。

6.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法,其特征在于,所述的步骤f中利用深度学习图像分类算法的具体步骤包括:a采集室内自然场景图像数据集,该数据集编号包括数字类和字母类;

b对室内自然场景图像数据集卷积神经网络结构进行分析,进行多模型融合卷积神经网络图像分类;

c对现有的卷积神经网络模型提取其输出特征向量,进行融合得到新的输出特征向量;

d搭建单层分类器重新训练融合后的网络模型;

e基于室内自然场景图像数据集,采用caffe深度学习框架对网络模型进行训练;

f分类好的室内自然场景图像将室内自然场景分割为多个对应的子场景。