1.一种立体图像显著图提取方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:①-1、将选取的N幅各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合,记为{Li,Ri,di,Fi|1≤i≤N},其中,N≥1,Li表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的左视点图像,Ri表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像,di表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视差图像,Fi表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图;
①-2、采用超像素分割技术将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域,将Ri中的第h个区域记为SPi,h,其中,M≥1,1≤h≤M;
①-3、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量,将SPi,h的对比度特征矢量记为 其中,的维数为6,符号“[]”为矢量表示符号, 表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离, 表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离, 表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离, 表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离, 表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离, 表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离,Ri中的背景区域是指Ri中位于最左边、最右边、最上边、最下边的区域,SPi,h的相邻区域是指Ri中与SPi,h左相邻、右相邻、上相邻、下相邻的区域;
①-4、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量,将SPi,h的深度特征矢量记为 其中, 的维数为3,符号“[]”为矢量表示符号, 表示SPi,h中的所有像素点的视差幅值的均值, 表示SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离, 表示SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离;
①-5、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图,将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量,将SPi,h的纹理特征矢量记为 其中, 的维数为59;
①-6、按{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域,将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域;然后计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值;接着按平均眼动值的大小对{Li,Ri,di,Fi|1≤i≤N}中的所有N幅立体图像的右视点图像的真实眼动图中的M×N个区域进行排序;之后从排序后的M×N个区域中取平均眼动值最高的20%区域,并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域,同时从排序后的M×N个区域中取平均眼动值最低的40%区域,并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域;再将所有正样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的正样本集合,记为 并将所有负样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的负样本集合,记为最后将 和 构成初始的样本训练集,记为其中, 表示第j个正样本区域的特征矢量集, 表示第j个正样本区
域的对比度特征矢量, 表示第j个正样本区域的深度特征矢量, 表示第j个正样本区域的纹理特征矢量,Lj表示第j个正样本区域的标签值,Lj=+1,T1表示正样本区域的总个数,T1=0.2×M×N, 表示第k个负样本区域的特征矢量集, 表示第k个负样本区域的对比度特征矢量, 表示第k个负样本区域的深度特征矢量, 表示第k个负样本区域的纹理特征矢量,Lk'表示第k个负样本区域的标签值,Lk'=-1,T2表示负样本区域的总个数,T2=0.4×M×N, 表示 中的第r个样本, 为正样本或为负样本,若 中的标签值为+1,则 为正样本,若 中的标签值为-1,则 为负样本,T=0.6×M×N,T=T1+T2;
①-7、采用AdaBoosting模型作为机器学习的方法,对 中的所有正样本和
所有负样本进行训练,使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小,得到 中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数,将 中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为 和 及 然后根据 中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数,构造一个强分类器,将根据 的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r),其中,1≤m≤L,L表示 中的任意一个样本的弱分类器的总个数,L=Nf×Nk,Nf表示 中的任意一个样本中的特征矢量的总个数,Nf=3,Nk表示 中的任意一个样本的任意一个弱分类器的回归函数的核的总个数,Nk≥2, 为 的转置矢量,km(r)表示 的第m个弱分类器的回归函数的核函数;
所述的步骤①-7中将 和 及 组成一个组合,记为
其中, 表
示取使得 的值最小的wm、bm和βm的值,wm、bm和βm对应表示权
重矢量、偏置项和权重系数,(wm,bm,βm)为wm、bm和βm组成的组合,Ψ表示对 中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合,(wm)T为wm的转置矢量,Lr表示 中的标签值;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一幅测试立体图像Stest,将Stest的左视点图像、右视点图像、右视差图像对应记为Ltest、Rtest、dtest;然后采用超像素分割技术将Rtest分割成M'个互不重叠的区域,将Rtest中的第h个区域记为SPh',其中,M'≥1,1≤h≤M';
②-2、按照步骤①-3至步骤①-5的过程,以相同的操作方式获取Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量;然后将Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本;再计算Rtest中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数,将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km(h);
②-3、根据训练阶段构造的强分类器φ(r),获取Rtest中的每个区域的三维视觉显著值,将SPh'的三维视觉显著值记为S3D,h,S3D,h=φ(h), 再将Rtest中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值,对于SPh',将SPh'的三维视觉显著值作为SPh'中的所有像素点的显著值,从而得到Stest的立体显著图,记为{S3D(x',y')},其中,(x',y')表示Stest中的像素点的坐标位置,1≤x'≤W',1≤y'≤H',W'和H'对应表示Stest的宽度和高度,S3D(x',y')表示{S3D(x',y')}中坐标位置为(x',y')的像素点的像素值,S3D(x',y')亦表示Rtest中坐标位置为(x',y')的像素点的显著值。
2.根据权利要求1所述的一种立体图像显著图提取方法,其特征在于所述的步骤①-3中的 的获取过程为:①-3a、计算SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中, 表示Ri中的所有背景区域的序号的集合, 表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值, 表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值,Q表示Ri中的背景区域的总个数,符号“| |”为取绝对值符号;
①-3b、计算SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中, 表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值, 表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值;
①-3c、计算SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中, 表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值, 表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值;
①-3d、计算SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离其中, 表示SPi,h的所有相邻区域的序号的集合,exp()表示以自然基数e为底的指数函数, 表示SPi,h中的中心像素点的坐标位置, 表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置,σp表示高斯函数的标准差, 表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值, 表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值,P表示SPi,h的相邻区域的总个数,符号“|| ||”为求欧式距离符号;
①-3e、计算SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离其中, 表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值, 表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值;
①-3f、计算SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离其中, 表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值, 表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值;
①-3g、将 和 按顺序进行排列,构成SPi,h的对比度特征
矢量
3.根据权利要求1或2所述的一种立体图像显著图提取方法,其特征在于所述的步骤①-4中的 的获取过程为:①-4a、计算SPi,h中的所有像素点的视差幅值的均值
①-4b、计算SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离 其中, 表示Ri中的所有背景区域的序号的集合,表示Ri中的第q个区域SPi,q中的所有像素点的视差幅值的均值,Q表示Ri中的背景区域的总个数,符号“||”为取绝对值符号;
①-4c、计算SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离 其中, 表示SPi,h的所有相邻区域的序号的集合,exp()表示以自然基数e为底的指数函数, 表示SPi,h中的中心像素点的坐标位置, 表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置,σp表示高斯函数的标准差, 表示Ri中的第p个区域SPi,p中的所有像素点的视差幅值的均值,P表示SPi,h的相邻区域的总个数,符号“|| ||”为求欧式距离符号;
①-4d、将 和 按顺序进行排列,构成SPi,h的深度特征矢量
4.根据权利要求3所述的一种立体图像显著图提取方法,其特征在于所述的步骤①-7中将 的第m个弱分类器的回归函数记为fm(r),fm(r)=(wm)Tkm(r)+bm,其中,wm为权重矢量,(wm)T为wm的转置矢量,bm为偏置项,km(r)表示fm(r)的核函数。
5.根据权利要求4所述的一种立体图像显著图提取方法,其特征在于所述的步骤①-7中当取Nk=3时1≤m≤9,则 的第1个弱分类器的回归函数的核函数为k1(r),的第2个弱分类器的回归函数的核函数为k2(r),的第3个弱分类器的回归函数的核函数为k3(r),
的第4个弱分类器的回归函数的核函数为k4(r),
的第5个弱分类器的回归函数的核函数为k5(r),
的第6个弱分类器的回归函数的核函数为k6(r), 的第7个弱分类器的
回归函数的核函数为k7(r), 的第8个弱分类器的回归函数的
核函数为k8(r), 的第9个弱分类器的回归函数的核函数为k9
(r), 其中,1≤r'≤T,exp()表示以自然基数e为底的指数函数,
和 对应表示 中的对比度特征矢量、深度特征矢量和纹理特征矢量, 和
对应表示 中的第r'个样本 中的对比度特征矢量、深度特征矢量和纹理特
征矢量, 为 的转置矩阵, 为 的转置矩阵, 为 的转置矩阵,γ、e和d均
为核参数,符号“|| ||”为求欧式距离符号。
6.根据权利要求5所述的一种立体图像显著图提取方法,其特征在于所述的核参数γ=1/10,e=3,d=1。
7.根据权利要求1所述的一种立体图像显著图提取方法,其特征在于所述的步骤②-2中当取Nk=3时1≤m≤9,则SPh'对应的输入样本的第1个弱分类器的回归函数的核函数为k1(h), SPh'对应的输入样本的第2个弱分类器的回归函数的核函数为k2(h), SPh'对应的输入样本的第3个弱分类器的回归
函数的核函数为k3(h), SPh'对应的输入样本的第4个弱分类
器的回归函数的核函数为k4(h), SPh'对应的输入样本的第5个弱分类器
的回归函数的核函数为k5(h), SPh'对应的输入样本的第6个弱分类器的
回归函数的核函数为k6(h), SPh'对应的输入样本的第7个弱分类器的回
归函数的核函数为k7(h), SPh'对应的输入样本的第8个弱分类
器的回归函数的核函数为k8(h), SPh'对应的输入样本的第9个
弱分类器的回归函数的核函数为k9(h), 其中,1≤h'≤M',exp
()表示以自然基数e为底的指数函数, 和 对应表示SPh'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量, 和 对应表示Rtest中的第h'个区域SPh”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量, 为 的转置矩阵, 为 的转置矩阵, 为 的转置矩阵,γ、e和d均为核参数,符号“|| ||”为求欧式距离符号。
8.根据权利要求7所述的一种立体图像显著图提取方法,其特征在于所述的核参数γ=1/10,e=3,d=1。