1.基于深度边缘点与彩色图像引导的深度图像上采样方法,其特征是,包括:
获取同一场景下的低分辨率深度图和高分辨率彩色图;
对低分辨率深度图进行边缘检测,得到低分辨率深度边缘图;根据低分辨率深度边缘图,将低分辨率深度图的像素区域划分为平坦区域和边缘区域;基于平坦区域和边缘区域,对低分辨率深度图的不可靠像素点进行标记;对低分辨率深度图的不可靠像素点进行修正,得到边缘增强的低分辨率深度图;
对边缘增强的低分辨率深度图进行初始化,得到初始化深度图;对初始化深度图与高分辨率彩色图进行结构一致性判断,完成对初始化深度图中像素点的分类,得到深度可靠像素区域和深度不可靠像素区域;
根据高分辨率彩色图像对应的高分辨率梯度矩阵,从初始化深度图中,寻找深度可靠像素区域的真实边缘像素点;将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中,对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子;
基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正;完成初始化深度图的深度不可靠像素区域的深度值修正;得到修正后的高分辨率深度图;
基于平坦区域和边缘区域,对低分辨率深度图的不可靠像素点进行标记;具体步骤包括:
首先,将深度值为0的像素点标记为不可靠像素点;
其次,在低分辨率深度图DL中取3×3的图像块,当图像块在平坦区域中,若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1,置t1为3,则将中心像素点标记为不可靠像素点;
当图像块在边缘区域,则若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1,置t1为3,则将中心像素点标记为不可靠像素点;
当图像块同时处于平坦区域和边缘区域,则利用低分辨率深度边缘图与图像块中边缘区域一一对应,并将图像块中处于边缘区域的像素点与边缘区域相邻的像素点比较,若出现深度值差值不小于3的次数大于t2,置t2为2,则标记为不可靠像素点;将图像块中处于平坦区域的像素点,则利用平坦区域与其相邻的像素点进行比较,若出现深度值差值不小于3的次数大于t2,置t2为2,则标记为不可靠像素点;对低分辨率深度图的不可靠像素点进行修正,得到边缘增强的低分辨率深度图;具体步骤包括:对处于平坦区域或边缘区域的不可靠像素点,根据低分辨率深度边缘图的边缘分布,利用8邻域可靠像素点的双三次插值来完成深度值的填充;
对于8邻域不同时处于平坦区域或边缘区域的像素点,则利用其对应区域相邻可靠像素点深度值的均值进行填充,得到边缘增强的低分辨率深度图;
对初始化深度图与高分辨率彩色图进行结构一致性判断,完成对初始化深度图中像素点的分类,得到深度可靠像素区域和深度不可靠像素区域;具体步骤包括:首先,在高分辨率深度空间中选取以某一个像素点O为中心的3×3的像素块A,分别确定像素块A中每个像素点的所属区域,其中所属区域包括:边缘区域和平坦区域;
其次,在高分辨率梯度空间中找到像素块A对应的像素块B,同样确定像素块B的9个像素点所处的区域,对两个像素块中像素点的区域特性进行一致性判断,若两个像素块中像素点的区域特性相同,则判定为深度可靠像素点;否则,则将在两个像素块中区域特性不一致的像素点投影在低分辨率深度图中,再进行判断。
2.如权利要求1所述的方法,其特征是,对低分辨率深度图进行边缘检测,得到低分辨率深度边缘图;具体步骤包括:对低分辨率深度图,利用Sobel算子进行边缘点提取,得到低分辨率深度边缘图。
3.如权利要求1所述的方法,其特征是,将低分辨率深度边缘图,划分为平坦区域和边缘区域;具体步骤包括:将低分辨率深度图经Sobel边缘点提取,提取出的边缘点是边缘区域,未提取出的点即为平坦区域。
4.如权利要求1所述的方法,其特征是,对边缘增强的低分辨率深度图进行初始化,得到初始化深度图;具体步骤包括:对边缘增强的低分辨率深度图进行双三次插值,得到初始化深度图。
5.基于深度边缘点与彩色图像引导的深度图像上采样系统,其特征是,包括:
获取模块,其被配置为:获取同一场景下的低分辨率深度图和高分辨率彩色图;对低分辨率深度图进行边缘检测,得到低分辨率深度边缘图;根据低分辨率深度边缘图,将低分辨率深度图的像素区域划分为平坦区域和边缘区域;基于平坦区域和边缘区域,对低分辨率深度图的不可靠像素点进行标记;对低分辨率深度图的不可靠像素点进行修正,得到边缘增强的低分辨率深度图;
判断模块,其被配置为:对边缘增强的低分辨率深度图进行初始化,得到初始化深度图;对初始化深度图与高分辨率彩色图进行结构一致性判断,完成对初始化深度图中像素点的分类,得到深度可靠像素区域和深度不可靠像素区域;
设置模块,其被配置为:根据高分辨率彩色图像对应的高分辨率梯度矩阵,从初始化深度图中,寻找深度可靠像素区域的真实边缘像素点;将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中,对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子;
修正模块,其被配置为:基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正;完成初始化深度图的深度不可靠像素区域的深度值修正;得到修正后的高分辨率深度图;
基于平坦区域和边缘区域,对低分辨率深度图的不可靠像素点进行标记;具体步骤包括:
首先,将深度值为0的像素点标记为不可靠像素点;
其次,在低分辨率深度图DL中取3×3的图像块,当图像块在平坦区域中,若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1,置t1为3,则将中心像素点标记为不可靠像素点;
当图像块在边缘区域,则若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1,置t1为3,则将中心像素点标记为不可靠像素点;
当图像块同时处于平坦区域和边缘区域,则利用低分辨率深度边缘图与图像块中边缘区域一一对应,并将图像块中处于边缘区域的像素点与边缘区域相邻的像素点比较,若出现深度值差值不小于3的次数大于t2,置t2为2,则标记为不可靠像素点;将图像块中处于平坦区域的像素点,则利用平坦区域与其相邻的像素点进行比较,若出现深度值差值不小于3的次数大于t2,置t2为2,则标记为不可靠像素点;对低分辨率深度图的不可靠像素点进行修正,得到边缘增强的低分辨率深度图;具体步骤包括:对处于平坦区域或边缘区域的不可靠像素点,根据低分辨率深度边缘图的边缘分布,利用8邻域可靠像素点的双三次插值来完成深度值的填充;
对于8邻域不同时处于平坦区域或边缘区域的像素点,则利用其对应区域相邻可靠像素点深度值的均值进行填充,得到边缘增强的低分辨率深度图;
对初始化深度图与高分辨率彩色图进行结构一致性判断,完成对初始化深度图中像素点的分类,得到深度可靠像素区域和深度不可靠像素区域;具体步骤包括:首先,在高分辨率深度空间中选取以某一个像素点O为中心的3×3的像素块A,分别确定像素块A中每个像素点的所属区域,其中所属区域包括:边缘区域和平坦区域;
其次,在高分辨率梯度空间中找到像素块A对应的像素块B,同样确定像素块B的9个像素点所处的区域,对两个像素块中像素点的区域特性进行一致性判断,若两个像素块中像素点的区域特性相同,则判定为深度可靠像素点;否则,则将在两个像素块中区域特性不一致的像素点投影在低分辨率深度图中,再进行判断。
6.一种电子设备,其特征是,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑4任一项所述的方法。
7.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑4任一项所述的方法。