1.一种基于像素标记和合成孔径成像的遮挡目标三维重建方法,其特征在于由下述步骤组成:
(1)确定相机内参矩阵K
用内角点标定板对采集相机进行标定,通过标定板摆放在不同位置的图像,提取标定板上12~20个内角点所对应的图像坐标与世界坐标,用公式(1)式中PI为图像坐标系中内角点的齐次坐标、PW为世界坐标系中内角点的齐次坐标、λ为比例系数、K为相机内参矩阵、R为相机相对于标定板的旋转矩阵、t为相机相对于标定板的T
平移向量、θ为零向量的转置,得到相机的内参矩阵K式中f为相机的焦距,x0、y0分别为位于图像中心处图像主点的横坐标和纵坐标;
(2)生成聚焦到遮挡平面πa的合成孔径图像用由8~16个相机水平组成的相机阵列拍摄目标物体,采集各个位于不同视角的相机图像,用公式(3)得到投影到参考平面πr的图像Wir=Hi·Fi (3)式中,Fi为各个相机所拍摄到的图像,Wir为Fi经过仿射变换投影到平面πr的图像,Hi为从Fi投影到参考平面πr的仿射矩阵,其中i=1,2,…,N,N为相机阵列中相机的数量,用公式(4)得到聚焦到遮挡平面πa所需要平移的视差ΔpΔp=ΔX·μ (4)式中,ΔX为相机之间的相对位置,μ为遮挡平面πa与参考平面πr的相对深度,相对深度μ=(a‑r)/a (5)式中a为遮挡平面πa的深度,r为参考平面πr的深度;用公式(6)对Wir中的像素进行平移T
式中pir为Wir中像素的齐次坐标,pia为pir经过平移操作后像素对应的齐次坐标,θ为零向量的转置,Δpia为由横向和纵向视差构成的二维向量,用公式(7)得到合成孔径图像中像素pa所对应的像素值S(pa)
式中N为相机阵列中相机的数量,pia为Wir经过平移后图像中的像素,Y(pia)为像素pia所对应的像素值;
(3)标记合成孔径图像中位于遮挡平面的像素点用公式(8)定义像素标记的代价函数L(pa)L(pa)=D(pa)+αN(pa) (8)式中D(pa)为代价函数的自身项,N(pa)为代价函数的领域项,α为邻域项的权重,得Wir经过平移操作后的图像Wia,式中m为像素pa在Wia中的标准四邻域像素集合,Wia为Wir经过平移后的图像,p′i,p′j为m中的元素,Y(p′i)、Y(p′j)分别为像素p′i、像素p′j的像素值,其中i,j=1,2,…,N,N为相机阵列中相机的数量;
得合成孔径图像中各个像素的标记代价L(pa),与方差阈值ε为3倍N进行比较;若L(pa)小于或等于方差阈值ε,将像素pa标记为遮挡平面上的点,并将像素pa对应的标记项Rl(pa)设为0;若L(pa)大于方差阈值ε时,不标记像素pa,将像素pa对应的标记项Rl(pa)设为1;
(4)生成聚焦到目标平面πa的合成孔径图像按照步骤(2)中公式(3)~公式(6)的方法,用公式(11)得到标记筛选后合成孔径图像中像素pd所对应的像素值S′(pd)式中H为标记项Rl(pa)等于1的相机数量,Rl(pa)为像素pa的标记项,pid为图像Wia中的像素,Y′(pid)为像素pid所对应的像素值;
(5)重建目标物体上点的三维坐标
用公式(12)记录像素pd在相机坐标系CV中的齐次坐标式中, 为相机坐标系CV中点的第一维度坐标, 为相机坐标系CV中点的第二维度坐标,d为平面πd的深度; 分别用公式(13)、公式(14)表示式中, 为图像坐标系中点的第一维度坐标, 为图像坐标系中点的第二维度坐标,f为相机的焦距;按照步骤(4)生成聚焦到不同深度平面 的合成孔径图像,得到目标物体上点的齐次坐标 式中dmin为合成孔径成像可聚焦的最小深度,dmax为合成孔径成像可聚焦的最大深度;将齐次坐标 转化为笛卡尔坐标PD式中 分别为齐次坐标 的第一维度坐标、第二维度坐标、第三维度坐标,q为齐次坐标PW的第四维度坐标,完成目标物体上点的三维坐标重建。
2.根据权利要求1所述的基于像素标记和合成孔径成像的遮挡目标三维重建方法,其特征在于;在生成聚焦到遮挡平面πa的合成孔径图像步骤(2)中,用由12个相机水平组成的相机阵列拍摄目标物体,采集各个位于不同视角的相机图像,用公式(3)得到投影到参考平面πr的图像为:
Wir=Hi·Fi (3)式中,Fi为各个相机所拍摄到的的图像,Wir为Fi经过仿射变换投影到平面πr的图像,Hi为从Fi投影到参考平面πr的仿射矩阵,其中i=1,2,…,N,N是相机阵列中相机的数量为12,用公式(4)得到聚焦到遮挡平面πa所需要平移的视差ΔpΔp=ΔX·μ (4)式中,ΔX为相机之间的相对位置,μ为遮挡平面πa与参考平面πr的相对深度,相对深度μ=(a‑r)/a (5)式中a为遮挡平面πa的深度,r为参考平面πr的深度;用公式(6)对Wir中的像素进行平移T
式中pir为Wir中像素的齐次坐标,pia为pir经过平移操作后像素对应的齐次坐标,θ为零向量的转置,Δpia为由横向和纵向视差构成的二维向量,用公式(7)得到合成孔径图像中像素pa所对应的像素值S(pa)
式中N是相机阵列中相机的数量为12,pia为Wir经过平移后图像中的像素,Y(pia)为像素pia所对应的像素值。