欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020112513973
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的机械零件增强现实跟踪注册方法,其特征在于,包括以下步骤:

U1、采用深度相机进行机械零件的三维建模,采集真实环境下的机械零件不同角度的位姿数据,制作真实环境下的机械零件位姿数据集;

U2、对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充,将建模产生的3D模型导入Blender引擎建立物理和行为模型,生成三维场景,将U1重建得到机械零件的三维模型与不同的场景图片进行融合,从而产生虚拟环境下深度学习需要机械零件6D位姿的数据;

U3、将步骤U2产生的机械零件6D位姿的数据输入深度卷积神经网络中,采用过往训练过的机械零件数据进行迁移学习,得到物体的三维模型;

U4、结合深度可分离卷积的方式对深度学习网络框架轻量化,对原本的卷积层进行改进,将训练参数减少,采用三维建模软件合成虚拟环境下机械零件6D位姿估计数据。

2.根据权利要求1所述的一种基于卷积神经网络的机械零件增强现实跟踪注册方法,其特征在于,所述步骤U1机械零件数据集的制作步骤具体为:(1)在所要制作机械零件的周围附加aruco位姿定位码标记,aruco标记指的是一种辅助定位的标记码,确保标记没有重复;

(2)使用深度相机对着目标机械零件进行拍摄,稳定的移动相机以获得物体的不同视角,同时随时保持相机视场内有2-3个标记;

(3)将所获得的物体位姿数据导入Meshlab软件中,进行三维点云的配准,得到重建的机械零件三维模型;

(4)使用unity软件,导入重建后的机械零件,使用虚拟相机对物体进行拍摄,获得物体不同视角的位姿,把获得的结果与混乱条件下的图片进行合成,增加训练的数据集大小。

3.根据权利要求1所述的一种基于卷积神经网络的机械零件增强现实跟踪注册方法,其特征在于,所述步骤U2采用在blender下用虚拟相机进行拍照的方法对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充;

将通过深度相机得到的机械零件三维模型与不同的场景图片进行融合,使用blender里面的虚拟相机对重建的三维模型在不同背景下进行拍照获得机械零件在不同场景下的图片和位姿数据,从而产生虚拟环境下深度学习需要机械零件6D位姿的数据。

4.根据权利要求1所述的一种基于卷积神经网络的机械零件增强现实跟踪注册方法,其特征在于,所述步骤U4深度学习网络框架轻量化步骤具体为:(1)深度学习网络框架采用6D姿态估计的开源网络pvnet作为基础网络,对pvnet所设计的resnet18的基础上进行改进,具体为引入深度可分离卷积进行轻量化,将resnet18的普通卷积层替换为深度卷积和点卷积,除了第一个卷积层和最后的卷积层所有的BN正则化和Relu非线性激活函数相连;

(2)对模型的后4层以外的14层进行迁移训练,不改变前14层参数的情况下训练后四层的卷积参数,在训练30个epoch后,再一起训练18层网络;

(3)在原有网络的loss损失函数的基础上在第9层网络的时候加入最后的判别网络,与最后的判别loss一起进行loss的加权,第9层loss设置为0.2,最终的loss设置为0.8。

5.根据权利要求4所述的一种基于卷积神经网络的机械零件增强现实跟踪注册方法,其特征在于,所述训练的损失函数为:w代表训练的权值参数,k表示从1开始计数到K的求和,K表示一次对K个点进行损失计算,O表示属于检测物体的点的集合,x、y分别表示x坐标和y坐标,l1表示是指l1正则化,表示通过网络我们预测的像素点指向关键点的向量,vk(p)表示像素点指向真实的关键点的向量值,Δvk(p;w)表示通过网络我们预测的像素点指向关键点的向量值减去真实的像素点指向关键点的向量值, 是指的预测向量,vk是真实的向量,Δvk|x和Δvk|y是vk的两个元素值,p是像素点位姿。