欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018101748855
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,该方法包括以下步骤:S1:采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定,获取相机的内外参数;

S2:根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐;

S3:分别获取场景彩色图像和深度图像,根据深度阈值法将深度图像进行二值化;

S4:判断深度图像空洞连通域的大小以确定存在空洞;

S5:对深度图像进行膨胀操作获取空洞邻域;

S6:计算空洞领域像素点的深度值方差,根据方差的大小将空洞分为遮挡空洞和平面内空洞;

S7:根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复;

S8:对修复后的图像采用局部滤波的方法进行滤波,在保证深度值原始性的同时去除噪声。

2.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S2具体包括以下步骤:S21:经步骤S1得到彩色相机的旋转矩阵Rrgb和平移向量Trgb,深度相机的旋转矩阵Rir和平移向量Tir;设P为世界坐标系下的一点,Prgb与Pir分别为P在彩色相机和深度相机下的投影坐标点,由小孔成像模型得到关系式:Prgb=RrgbP+Trgb

Pir=RirP+Tir

S22:设prgb和pir分别为该点在RGB像平面和深度像平面上的投影坐标,由相机的内参矩阵Argb和Air得到:prgb=ArgbPrgb

pir=AirPir

S23:深度摄像头的坐标和RGB摄像头的坐标不同,Prgb和Pir用一个旋转矩阵R和一个平移矩阵T联系起来,二者的关系为:Prgb=RPir+T

S24:由S21等式消去P得到:

S25:联立S23和S24等式对应项相等得到R和T:S26:联立S22和S23等式,最终得到彩色图像像素点与深度图像像素点的对应关系为:

3.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S3具体包括以下步骤:S31:根据对齐后的彩色相机和深度相机同时获取场景图像;

S32:对原始深度数据进行量化,将深度值转换到灰度级0~255,量化公式如下:其中depth为量化后的深度值,Dp为每个像素点的深度值,Dmax为最大深度值;

S33:对获取的深度图像根据深度阈值法进行二值化,公式表达如下:其中I(x,y)是二值化后的图像,depth(x,y)代表像素点量化后的深度值,Dthr为二值化深度阈值。

4.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S4具体包括:经过S3二值化处理后,判断空洞连通域的大小,以区分时空洞和噪声点;若连通域判断是空洞,则继续后续的处理;若不是,则不进行后续的处理。

5.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S5具体包括以下步骤:S51:对S4判断出的空洞进行膨胀操作Hep;

S52:获取空洞领域Hnp,表达式如下:

Hnp=Hep-Ho

其中Ho为空洞区域。

6.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S6具体包括以下步骤:S61:根据S5获取的空洞邻域,计算邻域内像素点量化后深度值的方差Δdepth,计算公式如下:其中Di表示空洞领域内i像素点的深度值,表示空洞领域深度值均值,i表示像素点编号,N表示空洞邻域像素点总个数;

S62:利用S61计算得到的邻域方差Δdepth与空洞判断阈值Δth相比较,若空洞邻域深度方差Δdepth小于Δth则判断为平面内空洞,若大于等于Δth则判断为遮挡空洞。

7.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S7具体包括:对于判断为平面内空洞,即该空洞为物体平面内由于不反射红外光而产生的空洞,由于是存在于一个平面内,该空洞区域的深度值与其邻域像素点的深度相似,利用领域像素点深度值对齐进行修补;而对于判断为遮挡空洞,是由于物体相互遮挡而产生的空洞,对于这类空洞修复则利用彩色图像进行修复,即找出空洞邻域内与空洞区域内彩色图像颜色较为接近的像素点的深度值进行修复。

8.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法,其特征在于,所述步骤S8具体包括:由于经过S7修复后的空洞仍存在细小噪声,为了尽可能保证深度数据的原始性,同时能够去除噪声,采用局部上边滤波方法进行图像滤波。