1.一种联合运动向量的双目视频立体匹配方法,其特征在于包括如下步骤:
第一步,计算原始匹配代价:转换左右视频序列彩色图像为灰度值图像;融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价;
第二步,获得像素光流场:通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量,再通过空间内插的方法获得左视频序列当前帧的像素光流场;
第三步,构建支撑区域:借助第二步所述的左视频序列当前帧像素光流场,利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数,判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域,属于同一区域的邻域像素组成待匹配像素支撑区域;
第四步,累积原始匹配代价:将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值,累加权重值与原始匹配代价的内积得到候选像素的匹配代价;
第五步,匹配最佳像素:在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价,拥有最小匹配代价的候选像素即为最佳匹配像素。
2.根据权利要求1所述的双目视频立体匹配方法,其特征在于第三步中,所述联合终止判断函数为:其中,pl代表待匹配像素;pn代表待匹配像素的邻域像素;R为上下左右四个方向邻域范围的最大值;L是预设的方向长度阈值,取值范围为L∈[11,15];
δ(pl,pn)代表颜色值相似度判定函数,具体为:
其中,Igray代表灰度值强度,τgray代表灰度值强度阈值,取值范围为τgray∈[12,15];
代表运动幅度绝对差值判定函数,具体为:
其中,|dx(pl)-dx(pn)|+|dy(pl)-dy(pn)|代表待匹配像素与其领域像素在X轴和Y轴方向的绝对运动幅度差值,τmotion是运动幅度的终止阈值,取值范围为τmotion∈[5,10])。
3.根据权利要求2所述的双目视频立体匹配方法,其特征在于立体匹配方法第二步中,所述并行化运动估计实现步骤包括:第一步,将t时刻当前帧分为大小为N×N的帧块,N为任意整数;并在t-1时刻参考帧中为当前帧帧块设定搜索范围;
第二步,根据穷尽搜索策略,在参考帧的搜索范围内,按照X和Y轴方向上步进为1依次搜索和计算当前帧块和候选帧块的像素灰度绝对差值;
第三步,比较所有候选帧块与当前帧块的绝对差值,具有最小绝对差值的候选帧块即为最佳匹配帧块,当前帧块与最佳匹配帧块的向量差值即为当前帧块的二维运动向量。
4.根据权利要求3所述的双目视频立体匹配方法,其特征在于立体匹配方法第一步中,所述原始匹配代价获得方法为:将待匹配像素与候选像素的灰度值截断绝对差值以及稀疏Census变换这两种差异化特征按照5:1的比例线性叠加作为原始匹配代价。
5.根据权利要求4所述的双目视频立体匹配方法,其特征在于立体匹配方法第四步中,所述权重值融合公式为:w=exp(-wmotion/λm-wgray/λg)
w为融合后权重值,wmotion为运动幅度绝对差值,wgray为像素灰度绝对差值, λm和λg取值为λm=10和λg=5,或λm=12和λg=7,或λm=22和λg=10。
6.根据权利要求5所述的双目视频立体匹配方法,其特征在于:立体匹配方法第四步中,所述匹配代价累积方法为基于平方步进的匹配代价累积方法,每次迭代更新在支撑区域内采取先水平方向上以平方步进将原始匹配代价与相应邻域像素融合后权重值的内积行累加,得到水平方向代价累积结果;在此基础上将水平方向代价累积结果与垂直方向相应像素的融合后权重值进行内积,依次累加其内积得到最终代价累积结果。
7.根据权利要求6所述的双目视频立体匹配方法,其特征在于:所述并行化运动估计方法中,将t时刻当前帧ft划分为大小为8×8的帧块。
8.根据权利要求1-7任一所述的双目视频立体匹配方法,其特征在于采用如下公式将彩色RGB图像转换为灰度值图像:灰度值=(R×299+G×587+B×114+500)/1000。