1.RGBD视频中基于局部刚性假设的场景流估计方法,其特征在于,具体操作过程包括如下步骤:
步骤1,分别输入连续两帧RGB图像和深度图像,并计算连续两帧RGB图像之间的光流信息;
步骤2,根据坐标转换配准输入的深度图像和RGB图像,修复深度图像中的洞和消除噪声点;
步骤3,使用K‑means算法对修复后的深度图像分层,将深度值接近的像素值分为同一层;
步骤4,使用局部刚性全局非刚性假设,将深度图像的每一层分成许多块,计算每一块的运动信息,得到深度图像的运动信息;具体过程如下:根据步骤3得到的深度图像的分层信息,将每一层分为许多大小为3*3的块,每一个块具有相同的运动信息,不同的块之间存在有不同的运动信息;
假设第t桢RGB图像中的像素点α1=(x1,y1)在第t+1桢中对应点的像素为α2=(x2,y2),则对应的光流信息为(u1,v1)=(x2‑x1,y2‑y1),第t桢RGB图像中的像素点α1在对应的深度图像中对应的深度值为z1,第t+1桢RGB图像中的像素点α2在对应的深度图像中对应的深度值为z2,则对应的深度变化为z=z2‑z1;
根据像素点的透视投影关系得到图像像素点α1和α2对应的3D空间点坐标如式(4)所示:u=X2‑X1,v=Y2‑Y1,z=z2‑z1 (4)式中,α12=(X1,Y1,Z1)是像素点α1对应的3D坐标,α22=(X2,Y2,Z2)是像素点α2对应的3D坐标,X1,Y1,Z1,X2,Y2,Z2,根据3D和2D之间的映射关系如式(5)得到:式中,fx,fy和cx,cy分别是相机的焦距和畸变系数;场景的运动包含旋转Rtk和平移空间点α22的坐标根据空间点α12得到,如式(6)所示:T
α22=Rt,kα12+τt,k (6)空间点α22对应的图像坐标为 则对应的场景流如式(7)‑(9)所示:其中, 分别为水平,垂直和深度方向的变化;
步骤5,根据步骤1得到的RGB图像的光流信息和步骤4的深度图像的每一层的运动信息,计算得到最终的场景流信息。
2.如权利要求1所述的RGBD视频中基于局部刚性假设的场景流估计方法,其特征在于,所述步骤2中将深度图像中的噪声根据深度值为0的连通区域的大小区分为洞和噪声点,然后根据区域相似性和颜色一致性修补洞,采用双边滤波消除噪声点。
3.如权利要求1所述的RGBD视频中基于局部刚性假设的场景流估计方法,其特征在于,所述步骤2的具体过程如下:
深度图像和RGB图像的配准过程:在深度图像和RGB图像中分别找到四对对应的点,这四对对应点坐标的位置信息根据式(1)得到投影矩阵,使用opencv中的函数warpPerspective()得到深度图像与RGB图像的配准图像;
式中,(X,Y)为RGB图像中的像素点坐标,(x,y)为深度图像中的像素点坐标,A为投影矩阵;
如果深度图像中深度值为0的连通区域的面积大于4,则该区域是洞,根据区域一致性和颜色的一致性修补洞,然后根据双边滤波消除噪声点;
如果深度图像中深度值为0的连通区域的面积为4或者小于4,则该区域是噪声点,根据双边滤波消除噪声点。
4.如权利要求1所述的RGBD视频中基于局部刚性假设的场景流估计方法,其特征在于,所述步骤3的具体过程如下:
步骤3.1,初始化实验数据,假设深度图像D为m*n的矩阵,D={d1,d2,...dn},聚类数目设为k,设定k个聚类中心(m1,m2,...mk);输出k个类簇Cj(j=1,2,...,k);
步骤3.2,对每一个样本dj,计算出距离它最近的聚类中心,然后将其分配到该类;
步骤3.3,计算每一个簇中所有像素点的均值,用于重新确定聚类中心,如公式(2)所示:
式中,Ni为第i个聚类的所有像素点,dij为第i簇中的第j个样本;
步骤3.4,计算深度图像各点与其对应的簇中心的偏差,如式(3)所示:式中,ni表示第i簇中像素点的个数;
步骤3.5,判断J值是否收敛,如果收敛,则聚类中心不变,并返回原聚类中心(m1,m2,...mk)和其对应的簇,得到深度图像的分层信息;否则,跳转依次执行步骤3.2‑步骤3.5。
5.如权利要求1所述的RGBD视频中基于局部刚性假设的场景流估计方法,其特征在于,所述步骤5的具体过程如下:
使用坐标下降法最小化RGBD分层场景流能量函数,如式(10)所示:式中, 是每层的运动,包括2D运动{utk,vtk}和深度变化wtk,Edata反应了第t连和第t+1帧连续两帧在2D运动{utk,vtk}后的时间一致性;Espa反映了每层像素分别在垂直,水平,深度方向上经过运动R,τ后的区域一致性,这里R是旋转,τ是平移;Esup反映了层辅助函数的空间一致性和表面运动{utk,vtk}的时间一致性;λdata,λspa,λsup分别是Edata,Espa,Esup相对应的权重系数;gtk是辅助函数,‑1.5≤gtk≤1.5,反映了像素属于第t帧第k层的概率;
其中,根据公式(11)‑公式(13)分别得到水平,垂直和深度变换的半参数模型:式中,ρu,ρv,ρw和ρb分别是惩罚函数。