欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017108048750
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向移动硬件的场景流估计方法,其特征在于包括如下步骤:步骤1)导入成对的左右图像,并求得左右图像的残差图像,根据所述参差图像再通过融合光流的非局部立体匹配算法,融入光流改善最小生成树的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图;

步骤2)进行场景流估计求解:

2.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于所述步骤1)中融合光流的非局部立体匹配算法选用非局部代价累积方法进行双目立体匹配,基于原始匹配代价与混合先验模型优化的改进。

3.根据权利要求2所述的面向移动硬件的场景流估计方法,其特征在于原始匹配代价的改进为:将改进型稀疏Census变换、背景减除双边滤波器和加速稳健特征SURF算法三种处理方式进行融合。

4.根据权利要求2所述的面向移动硬件的场景流估计方法,其特征在于所述改进的混合先验模型优化为:采用八邻域的无向图来构建最小生成树。

5.根据权利要求4所述的面向移动硬件的场景流估计方法,其特征在于所述改进的混合先验模型优化采用edge prior边缘先验和superpixel prior超像素先验的混合型先验模型,其实现步骤如下:a)借助t时刻和t+1时刻的图像帧,计算出当前匹配图像的光流图;

b)分别对所述光流图进行边缘edge分割和超像素superpixel分割,并设定只有被edge和superpixel两种先验模型同时检测到的边缘,才认定为视差的边界。其对应地融合运动幅度权重的边权值w(s,r)被重新定义,如式(1):w(s,r)是由亮度权重项和运动幅度权重项两部分组成。其中Is和Ir是邻域像素s和r的亮度值,用 来表示两个邻域像素s和r的运动幅度,τ是截断阈值,σi和σm分别是亮度权重项和运动幅度权重项调节系数;

c)利用克鲁斯卡尔算法移除权值较大的边,再通过最小权重构造生成MST即最佳的代价累积支撑区域。

6.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于所述非局部立体匹配算法包括如下步骤:步骤1-1)代价累积从叶子节点至根节点,代价累积的中间结果表示如式(2):其中,d表示当前视差,P(q)表示像素q的父节点。代价累积的权重σ是用以调节像素p和q相似度的常数,对于图像I中的任意两个像素p和q来说,D(p,q)表示MST中连接两个像素最小路径中所有边权重w(s,r)之和。

步骤1-2)根据式(3)代价累积根节点至叶子节点,得到代价累积的最终结果;

7.根据权利要求6所述的面向移动硬件的场景流估计方法,其特征在于所述步骤1)中进行非局部立体匹配算法的步骤1-1)与步骤1-2)后,执行视差选择与优化操作,所述视差选择与优化操作具体包括如下步骤:步骤Ⅰ)依据胜者全拿原则,设定拥有最小匹配代价的候选像素为最佳匹配像素,待匹配像素与最佳匹配像素间的位移为视差值,并计算得到左右图像的粗视差图;

步骤Ⅱ)采用left-right check,找出粗视差图中所有不稳定视差像素;

步骤Ⅲ)重新定义新的截断匹配代价 如式(5),并定义新的代价累积权重函数Sn(p,q)如式(6):其中 为变量系数,用以抑制从不稳定像素点到稳定像素点的代价累积;

步骤Ⅳ)重复步骤1-1)与步骤1-2)的代价累积公式(2)和(3),得到最终优化后的视差图。

8.根据权利要求7所述的面向移动硬件的场景流估计方法,其特征在于所述步骤Ⅱ)中,采用基于3×3窗口的拉普拉斯遮挡填充方法,将识别的不稳定视差像素填充新的视差值,生成新的视差图Disparity。

9.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于步骤2)中三维场景流[u,v,p]T,其中[u,v]代表二维的光流信息反映两帧图像内像素点在x,y方向上的运动,p表示视差的变化,得到光流场的扩展[u(x,y,t),v(x,y,t)]T以及一个反映视差变化的分量p(x,y,t)=dt+1-dt,dt和dt+1分别为t和t+1时刻的视差,场景流估计求解具体包括如下步骤:步骤2-1)构架一个能量泛函如式(7):

E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)   (7)设定能量泛函的数据项采用最基础的亮度不变;

步骤2-2)定义L(x,y,t)和R(x,y,t)分别为左、右视图t时刻像(x,y)的亮度值,设定数据项的约束条件别为:左光流约束、右光流约束以及交叉约束,如式(8):Efl=L(x+u,y+v,t+1)-L(x,y,t)=0

Efr=R(x+u+dt+1,y+v,t+1)-R(x+dt,y,t)=0Ecr=R(x+u+dt+1,y+v,t+1)-L(x,y,t)=0   (8)步骤2-3)数据项使用L2范式ψ来约束能量泛函为凸,其数据项定义如式(9):其中, ε=0.01,如果像素点(x,y)没有给定相应的视差d,那么c(x,y,t)=0,反之c(x,y,t)=1;

滑项同样采用如公式(10)所示的L2范式ψ,通过常数λ和γ限定平滑项中光流和视差变化的权重。

得到能量泛函的定义如公式(11)所示:

步骤2-4)通过指定所述三条约束条件,再由欧拉-拉格朗日方程,利用最小变分方法,分别对u,v,p求偏导;

步骤2-5)通过红黑超松弛迭代法和多分辨率算法迭代求解方程(11);

重复步骤2-3)至步骤2-5)求解能量最小化对应的三维速度矢量[u,v,p],即场景流信息。

10.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于在场景流估计求解过程中对移动设备的处理器进行加速优化,具体为:加入新的约束项来区分移动设备引起的全局运动与物体自身的局部运动,能量泛函重新定义如式(12):E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)+Elocal(u,v,p)   (12)。