欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108417699
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于边缘模型的增强现实无标识跟踪注册方法,其特征在于,包括以下步骤:

目标物体特征离线提取步骤:离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练,对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像,同时在图像采集的过程中记录相机的采集位置和姿态,对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中;

基于改进LINE‑MOD模板匹配对目标物体在线识别步骤:在线阶段采集目标物体处在真实场景中的视频帧,对每一帧图像进行图像预处理以及图像梯度方向描述符提取,然后通过改进的LINE‑MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配,采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配,如下所示:式中,ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性,I表示输入图像,T=(O,p)表示目标物体的模板,c表示输入图像与模板图像在同一个位置c处 ,o ri (O ,r ) 表 示 在 参 考图 像O 位 置 r 点 处 的 梯 度 方 向的 弧 度 ,表示以c+r为中心,τ为邻域的区域,R(c+r)表示图像以c+r为中心的半径区域,ori(I,t)表示输入图像I位置t点处的梯度方向的弧度,p表示位置r的列表;

将深度信息引入相似性评价方法,使其具有尺度不变性,改进后的相似性度量公式,如下所示:式中,ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性,I表示输入图像,T=(O,p)表示目标物体的模板,c′I表示输入图像与模板图像在同一个位置c′I处,O表示参考图象O位置,So(c′o,r′)表示参考图像的梯度方向,ori(O,So(c′o,r′))表示在参考图像O位置 点处的梯度方向的弧度,r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处,ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度,p表示位置r的列表,y表示图像梯度沿着y轴方向的距离,D(c′x)表示在点c′x处的深度值,D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离;

表示以

为中心,τ为邻域的区域,完成对目标物体的识别;

模型投影步骤:将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿,通过该初始化位姿将目标物体3D模型进行投影,计算出模型投影图像;所述模型投影步骤中,关键帧是指在线对目标物体识别时,获取与当前输入视频帧最相似的图像作为关键帧,该关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿,通过初始化位姿将目标物体3D模型进行投影,计算出模型投影图像,具体包括:设目标物体3D模型表面上一点Q在世界坐标系下的坐标为(Xw,Yw,Zw),其理想的模型投影图像像素坐标为q(x,y),可令如下式所示:式中u、v、w表示图像像素坐标,Zc表示尺度因子,x、y也表示图像像素坐标,由实际图像坐标可得到如下式所示:式中x、y表示图像像素坐标,u、v、w也表示图像像素坐标,根据上式得,图像平面上点q(x,y)的速度矢量 其表达式如下式所示:由上式可得到如下式所示:

式中u、v、w表示图像像素坐标,Zc表示尺度因子,x、y也表示图像像素坐标,Xw、Yw、Zw表示世界坐标系下的坐标,M表示透视投影矩阵,m表示透视投影矩阵中的一个数,由上式可得到如下式所示:式中 图像像素坐标的速度矢量,m表示透视投影矩阵中的一个数,

表示世界坐标系下坐标的速度矢量;

位姿更新步骤:获取模型投影图像之后,识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点,对于模型上每一采样点,沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点,作为采样点对应的图像边缘点,通过采样点与图像中检测到的边缘之间的距离得到新的位姿。

2.根据权利要求1所述的一种基于边缘模型的增强现实无标识跟踪注册方法,其特征在于,计算出模型投影图像后,将模型投影图像文件导入系统中并且进行解析,提取结构性可见边缘线段、消除虚假边缘,然后对模型进行采样,使得采样点等间隔地分布在模型线段的投影线段上,同时记录每个采样点的3D坐标和其投影后的图像2D坐标,断这些采样点的可见性,保留可见采样点,清除不可见的采样点。

3.根据权利要求2所述的一种基于边缘模型的增强现实无标识跟踪注册方法,其特征在于,所述位姿更新步骤中,通过建立模型边缘点和图像边缘点之间的对应关系后,σ为标准方差,x为一个未知量;根据对应关系迭代求解运动位姿,将求解出的运动位姿来估计位姿改正量;见具体算法过程,根据位姿改正量计算其投影矩阵,并更新位姿,具体算法过程如下:t‑1

假设更新前的位姿参数为Me ,根据该位姿参数可求解得到位姿参数改正量 从而t

可推导出更新后的位姿参数Me;

令运动前后目标表面上一点Q在世界坐标系下的坐标分别为:Q=(X,Y,Z)和Q′=(X′,Y′,Z′),则可得到如下式所示:式中Q′、Q、 表示世界坐标系的坐标矩阵,Ω表示反对称矩阵,t表示平移向量,I表示单位矩阵,使用齐次坐标 和 可将上式表示为下如式所示:式中 表示世界坐标系的坐标矩阵,Ω表示反对称矩阵,t表示平移向量,I表示单T

位矩阵,0表示常数0矩阵;

假设运动前目标物体位姿为 M为透视投影矩阵,R表示旋转矩阵,T表示平

移矩阵,可将求解得到的位姿改正量用矩阵表示为 ΔM表示位姿改正量

矩阵,Ω表示反对称矩阵,t表示平移向量,I表示单位矩阵,则上式可表示为如下式所示:式中 表示世界坐标系的坐标矩阵,ΔM表示位姿改正量矩阵,M为透视投影矩阵,Ω表示反对称矩阵,t表示平移向量,I表示单位矩阵,R表示旋转矩阵,T表示平移矩阵,根据上式可得到当前的位姿矩阵更新为如下式所示:式中M′表示当前的位姿矩阵,ΔM表示位姿改正量矩阵,M为透视投影矩阵,Ω表示反对称矩阵,t表示平移向量,I表示单位矩阵,R表示旋转矩阵,T表示平移矩阵,(I+Ω)R表示当前时刻旋转矩阵,(I+Ω)T+t表示当前时刻平移向量。

4.一种基于边缘模型的增强现实无标识跟踪注册装置,其特征在于,包括:

目标物体特征离线提取模块:离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练,对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像,同时在图像采集的过程中记录相机的采集位置和姿态,对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中;

基于改进LINE‑MOD模板匹配对目标物体在线识别模块:在线阶段采集目标物体处在真实场景中的视频帧,对每一帧图像进行图像预处理以及图像梯度方向描述符提取,然后通过改进的LINE‑MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配,采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配,如下所示:式中,ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性,I表示输入图像,T=(O,p)表示目标物体的模板,c表示输入图像与模板图像在同一个位置c处 ,o ri (O ,r ) 表 示 在 参 考图 像O 位 置 r 点 处 的 梯 度 方 向的 弧 度 ,表示以c+r为中心,τ为邻域的区域,R(c+r)表示图像以c+r为中心的半径区域,ori(I,t)表示输入图像I位置t点处的梯度方向的弧度,p表示位置r的列表;

将深度信息引入相似性评价方法,使其具有尺度不变性,改进后的相似性度量公式,如下所示:式中,ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性,I表示输入图像,T=(O,p)表示目标物体的模板,c′I表示输入图像与模板图像在同一个位置c′I处,O表示参考图象O位置,So(c′o,r′)表示参考图像的梯度方向,ori(O,So(c′o,r′))表示在参考图像O位置 点处的梯度方向的弧度,r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处,ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度,p表示位置r的列表,y表示图像梯度沿着y轴方向的距离,D(c′x)表示在点c′x处的深度值,D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离;

表示以

为中心,τ为邻域的区域,完成对目标物体的识别;

模型投影模块:将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿,通过该初始化位姿将目标物体3D模型进行投影,计算出模型投影图像;所述模型投影步骤中,关键帧是指在线对目标物体识别时,获取与当前输入视频帧最相似的图像作为关键帧,该关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿,通过初始化位姿将目标物体3D模型进行投影,计算出模型投影图像,具体包括:设目标物体3D模型表面上一点Q在世界坐标系下的坐标为(Xw,Yw,Zw),其理想的模型投影图像像素坐标为q(x,y),可令如下式所示:式中u、v、w表示图像像素坐标,Zc表示尺度因子,x、y也表示图像像素坐标,由实际图像坐标可得到如下式所示:式中x、y表示图像像素坐标,u、v、w也表示图像像素坐标,根据上式得,图像平面上点q(x,y)的速度矢量 其表达式如下式所示:由上式可得到如下式所示:

式中u、v、w表示图像像素坐标,Zc表示尺度因子,x、y也表示图像像素坐标,Xw、Yw、Zw表示世界坐标系下的坐标,M表示透视投影矩阵,m表示透视投影矩阵中的一个数,由上式可得到如下式所示:式中 图像像素坐标的速度矢量,m表示透视投影矩阵中的一个数,

表示世界坐标系下坐标的速度矢量;

位姿更新模块:获取模型投影图像之后,识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点,对于模型上每一采样点,沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点,作为采样点对应的图像边缘点,通过采样点与图像中检测到的边缘之间的距离得到新的位姿。