1.一种基于相机阵列合成孔径成像的遮挡背景估计方法,其特征在于包括以下步骤:步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机,πr为参考平面,πb表示背景深度为b的焦平面,其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得WkrWkr=Hk·gk, (1)式中,gk表示相机Ck采集的图像序列中的一帧图像,Hk,k=1,…,N.表示从gk到参考相机Cr在平面πr上的投影矩阵;当聚焦于背景平面πb时,计算出该平面与参考相机Cr的相对深度dd=(b-r)·b. (2)式中,r表示参考平面πr的深度,πb表示背景深度为b的焦平面,其中b∈R.再应用公式(3)求得深度b处的视差ΔpΔp=ΔX·d. (3)式中,ΔX表示相机间相对位置,深度范围表示为R=[0,s]。
根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素;
Wkb(m)=Wkr(m+Δp). (4)式中,m为图像中任意像素;
步骤二、设L={1,…,k,…,N}为标签集,其中k对应相机Ck视角的投影图像;令fm为像素m的标记,其中fm∈L;将背景透视估计问题等同于标记问题并利用能量最小化来方法解决;
寻找最优背景将通过计算最小代价的标记fm获得;应用公式(5)定义能量函数E(f)=Ed+Es. (5)式中,E(f)为能量函数,Ed为数据项,Es为平滑项;数据项包括稳定项和预测项,应用公式(6)定义数据项Ed=Σm∈βDm(fm), (6)其中
Dm(fm)包括 和 用来度量像素m分配标签fm的代价;其中 表示稳定项, 表示预测项;
步骤三、稳定项 基于色彩相似性应用公式(8)进行定义式中, 表示相机 投影至深度b的投影图像中的像素m;
判断像素m是否为稳定像素
式中, 是用来标识稳定区域的稳定性标记,表示该区域不会被遮挡;稳定区域由背景像素组成,这些像素非常相似且在该区域多次出现;另一方面,不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素;若像素m属于稳定区域,则m被设置为Wrb(m),否则m为0,表示其为不稳定像素;tH表示一个阈值;
步骤四、基于不稳定像素对预测项 应用公式(10)进行定义其中
以及
式中,Wγ(m)表示利用图像修补技术对像素m进行预测得到的像素值; 表示用来估计预测像素值的采样像素集; 表示以像素m为中心的窗口,用来检查不稳定像素,|Θ|为窗口大小;|m-m′|表示m和m′之间的距离;对于每一个像素m,当其被标记为不稳定时,则放置一个以m为中心,大小为 的窗口;当稳定像素的数量小于窗口中像素数量的50%,则该窗口需被设置为|W|;预测像素值由该窗口内所有稳定像素加权平均计算得到;
步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算,应用公式(14)进行定义,Es=Σm,n∈WVm,n(fm,fm), (14)其中
式中,m,n是临近像素,若 与 匹配度较高,则平滑项小;反之,平滑项大;
步骤六、使用图割方法对能量函数进行优化,最终获得一个清晰背景的透视区域。