欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105996064
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,具体操作包括如下步骤:

步骤1,对立体图像对进行立体匹配、边缘检测和纹理检测:输入双目立体图像中的左右两幅图像,通过立体匹配算法计算得到两幅图像的视差图,再分别计算左右两幅图像的纹理特征,得到左右两幅图像的纹理图像,然后通过边缘检测算法分别计算出左右两幅图像的边缘图像;

步骤2,计算图像的背景和前景权重、局部邻域权重、非局部邻域权重和跨视图权重信息;

步骤3,根据步骤2的权重信息构造Graph Cuts方法的图模型,得到立体图像对的分割结果;

步骤4,将步骤3得到的分割结果进行后处理:使用形态学操作填补分割结果中小的空洞,去除分割结果中小的连通区域,最后使用中值滤波进行平滑,得到最终的分割结果。

2.如权利要求1所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤2中包括如下过程:

步骤2.1,通过原始图像、视差图像和纹理图像计算出左右视图中每一个像素点的前景权重和背景权重;

步骤2.2,通过原始图像和纹理图像计算出左右视图中每一个像素点的局部邻域权重;

步骤2.3,通过原始图像、纹理图像和边缘图像计算左右视图的非局部邻域权重;

步骤2.4,通过原始图像、纹理图像和视差图像计算跨视图权重。

3.如权利要求1所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤1中图像的纹理图像和图像的边缘图像的计算过程如下:输入双目立体图像中的左右两幅图像,通过公式(1)计算出左右视图中每个像素点的LBP特征值,得到了左右视图的LBP纹理特征图像,再通过边缘检测算法分别计算出左右视图的边缘图像;

其中,xc表示中心像素点c的行,yc表示中心像素点c的列,p表示3×3窗口中除中心像素点外的第p个像素点;I(c)表示中心像素点的灰度值,I(p)表示领域内第p个像素点的灰度值。

4.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤2.1中前景权重和背景权重的计算过程如下:步骤2.1.1,用户通过交互界面标记出左右视图中一部分前景像素点和背景像素点,然后获得这些像素点在原始图像中的颜色特征,在纹理图像中的纹理特征,在视差图像中的深度特征,从而得到左右视图的颜色、纹理和深度的前景背景先验信息;

步骤2.1.2,将获得的前景和背景的先验信息分别构成两组5维数据,使用前景的先验信息估计一个前景高斯混合模型,使用背景的先验信息估计一个背景高斯混合模型;

步骤2.1.3,使用前景高斯混合模型计算图像中其他像素点属于前景对象的概率,并归一化得到前景概率图,即前景权重,使用背景高斯混合型计算图像中其他像素点属于背景对象的概率,并归一化得到背景概率图,即背景权重。

5.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤2.2中计算每个像素点与其邻域内其他像素点之间的局部邻域权重的具体过程如下:

通过公式(2)计算图像中每一个像素点与其相邻的上下左右像素点之间的权重:其中, 是图像中所有邻域像素的集合,Wlocal(i,j)表示i和j之间的权重,ci和cj表示像素点i和j的颜色特征,ti和tj表示像素点i和j的纹理特征;λc和λt是两个用于平衡颜色特征和纹理特征的参数,规定0≤λc≤1,0≤λt≤1,且λc+λt=1;σ表示图像邻域内所有像素点的方差。

6.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤2.3中计算每一个像素点与其相应的最相似的K个像素点的非局部邻域权重的具体过程如下:

步骤2.3.1,输入左右视图的边缘图像,通过边缘图像得到图像边缘处的像素点的位置;

步骤2.3.2,以每一个边缘像素点为中心,构造一个大小为M×M的矩形,通过公式(3)计算矩形内其他像素点与中心像素点的相似度,找出与中心像素点最相似的K个像素点:其中,S(i,j)表示i和j的相似度,ci和cj表示像素点i和j的颜色特征,ti和tj表示像素点i和j的纹理特征;

步骤2.3.3,使用公式(4)计算每个边缘像素点与其最相似的K个像素点之间的权重:其中,Wnonlocal(i,j)表示i和j的非局部邻域权重,β是一个自由参数, 和 表示以i和j为中心的大小为N×N的矩阵内像素点的颜色特征, 和 表示以i和j为中心的大小为N×N的矩阵内像素点的纹理特征,函数 输出一个N×N的矩阵,输出矩阵的每个元素是通过计算 和 中相同位置元素的欧几里得距离的平方获取, 是一个N×N大小的高斯核,运算符⊙表示两个矩阵的元素乘法,运算符||·||1表示计算矩阵的l1范式,即计算矩阵中所有元素之和的绝对值。

7.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤2.4中计算跨视图邻域权重的具体过程如下:步骤2.4.1,输入左右视图的视差图像,对左右视差图像进行一致性检测,从左视差图上取一点i,从右视差图上取一点j,构成一个点对(i,j);

若(i,j)满足公式(5),则点对(i,j)通过一致性检测;

其中,xi和xj分别表示i点和j点所在的行,yi和yj分别表示i点和j点所在的列,di和dj分别表示i点和j点的视差值;

若(i,j)不满足公式(5),那么(i,j)没有通过一致性检测;

步骤2.4.2,通过公式(6)为通过一致性检测的点对计算跨视图邻域权重;

2 2

Wcrossview(i,j)=exp(‑γ((ci‑cj) +(ti‑tj)))   (6)其中,Wcrossview(i,j)表示像素点i和j之间的跨视图邻域权重,γ是一个调整跨视图邻域权重大小的自由参数。

8.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤3的具体过程如下:

使用Graph Cuts第三方库构造一个图模型,其数学表达式如式(7)所示:E(x)=Edata(x)+Esmooth(x)+Enonlocal(x)+Ecrossview(x)   (7)其中,Edata(x)表示背景权重和前景权重;Esmooth(x)代表局部邻域权重;Enonlocal(x)表示非局部邻域权重;Ecrossview(x)表示跨视图权重;

将步骤2计算的每个权重信息输入到图模型中,通过Graph Cuts优化方法求得能量函数E(x)的最小值,在求取函数E(x)最小值的过程中将构造的图模型中的一些边切断,将这个图模型从优化前的一个整体分割成两个部分,这两个部分就是分割出来的图像前景和背景,从而得到双目立体图像对的初步分割结果。

9.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法,其特征在于,所述步骤4的具体过程如下:

步骤4.1,将步骤3得到的分割结果使用一个5×5大小的结构元素依次进行形态学操作,将分割结果中较小的独立的点去除;

步骤4.2,统计分割结果中前景对象中的连通区域,得到每一个连通区域的像素点个数,将像素个数小于阈值T的连通区域设置为背景区域,将图像背景中较小的独立连通区域去除,修补背景对象中的小孔洞;

步骤4.3,将步骤4.2的处理结果反转,即将前景设置为背景,背景设置为前景,然后再执行步骤4.2的操作,将分割结果中图像前景中较小的独立联通区域去除,修补前景对象中的小孔洞;

步骤4.4,使用中值滤波对步骤4.3中的处理结果进行滤波将原始分割图像的边缘平滑,得到最终的分割图像。