1.一种立体图像视觉显著图提取方法,其特征在于包括训练阶段和测试阶段两个过程,具体步骤如下:①选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应的右视差图像,构成训练图像集,记为{Li,Ri,di|1≤i≤N},其中,N≥1,Li表示{Li,Ri,di|1≤i≤N}中的第i幅立体图像的左视点图像,Ri表示{Li,Ri,di|1≤i≤N}中的第i幅立体图像的右视点图像,di表示{Li,Ri,di|1≤i≤N}中的第i幅立体图像对应的右视差图像;
②计算{Li,Ri,di|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围,将di中的所有像素点的视差均值、视差方差和视差范围对应记为μi、δi和χi;然后将{Li,Ri,di|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像的用于反映视觉舒适度的特征矢量,将第i幅立体图像的用于反映视觉舒适度的特征矢量记为Xi,Xi=[μi,δi,χi],其中,此处符号“[]”为矢量表示符号,Xi的维数为3;
③采用支持向量回归,对{Li,Ri,di|1≤i≤N}中的所有立体图像的特征矢量进行训练,并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,得到最优的opt opt opt权重矢量w 和最优的偏置项b ,然后利用得到的最优的权重矢量w 和最优的偏置项opt
b 构造支持向量回归训练模型,记为f(Xinp), 其中,Xinp表示
opt T opt
支持向量回归训练模型的输入矢量,(w ) 为w 的转置矢量, 表示支持向量回归训练模型的输入矢量Xinp的线性函数;
④将待测试的立体图像的左视点图像和右视点图像对应记为{IL(x,y)}和{IR(x,y)},将待测试的立体图像对应的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,此处W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的视差值;
⑤采用基于图论的视觉显著性模型提取出{IR(x,y)}的二维显著图,记为{S2D(x,y)},其中,S2D(x,y)表示{S2D(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑥采用超像素分割技术将{IR(x,y)}分割成M个互不重叠的区域,然后将{IR(x,y)}重新表示为M个区域的集合,记为{SPh},再根据{SPh}中的不同区域之间的视差相似性和空间相似性,计算{IR(x,y)}的深度显著图,记为{SDP(x,y)},其中,M≥1,SPh表示{SPh}中的第h个区域,1≤h≤M,SDP(x,y)表示{SDP(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑦根据利用训练得到的最优的权重矢量wopt和最优的偏置项bopt构造的支持向量回归训练模型f(Xinp),计算{IR(x,y)}的视觉舒适度显著图,记为{SVC(x,y)},其中,SVC(x,y)表示{SVC(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑧对{IR(x,y)}的二维显著图{S2D(x,y)}、{IR(x,y)}的深度显著图{SDP(x,y)}及{IR(x,y)}的视觉舒适度显著图{SVC(x,y)}进行融合,得到{IR(x,y)}的最终的三维视觉显著图,记为{S3D(x,y)},将{S3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为S3D(x,y),S3D(x,y)=S2D(x,y)×SDP(x,y)×SVC(x,y)。
2.根据权利要求1所述的一种立体图像视觉显著图提取方法,其特征在于所述的步骤②中di中的所有像素点的视差均值、视差方差和视差范围的获取过程为:②-1、计算di中的所有像素点的视差均值,记为μi, 其中,
1≤x≤W,1≤y≤H,此处W表示di的宽度,H表示di的高度,di(x,y)表示di中坐标位置为(x,y)的像素点的视差值;
②-2、计算di中的所有像素点的视差方差,记为δi,
②-3、计算di中的所有像素点的视差范围,记为χi,χi=dmax-dmin,其中,dmax表示di中的所有像素点的视差值按从大到小的顺序排序后,前1%的视差值对应的所有像素点的视差均值;dmin表示di中的所有像素点的视差值按从大到小的顺序排序后,后1%的视差值对应的所有像素点的视差均值。
3.根据权利要求1或2所述的一种立体图像视觉显著图提取方法,其特征在于所述的步骤③的具体过程为:③-1、将{Li,Ri,di|1≤i≤N}中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为ΩN,{Xi,MOSi}∈ΩN,其中,MOSi表示{Li,Ri,di|1≤i≤N}中的第i幅立体图像的平均主观评分均值,MOSi∈[1,5],1≤i≤N;
③-2、构造ΩN中的每个特征矢量的回归函数,将Xi的回归函数记为f(Xi),T
其中,f()为函数表示形式,w为权重矢量,w 为w的转置矢量,b为偏
置项, 表示Xi的线性函数, D(Xi,Xl')为支持向量回归中的核函
数, Xl'表示ΩN中的第l'个特征矢量,1≤l'≤N,γ为核
参数,exp()表示以自然基数e为底的指数函数,符号“|| ||”为求欧式距离符号;
③-3、采用支持向量回归作为机器学习的方法,对ΩN中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt), 然后利用得到的最优的权重矢量wopt和最优opt
的偏置项b 构造支持向量回归训练模型,记为f(Xinp), 其
中,Ψ表示对ΩN中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示取使得 的值最小的w和b的值,Xinp表示opt T opt
支持向量回归训练模型的输入矢量,(w ) 为w 的转置矢量, 表示支持向量回归训练模型的输入矢量Xinp的线性函数。
4.根据权利要求3所述的一种立体图像视觉显著图提取方法,其特征在于所述的步骤③-2中取核参数γ=54。
5.根据权利要求4所述的一种立体图像视觉显著图提取方法,其特征在于所述的步骤⑥中{IR(x,y)}的深度显著图{SDP(x,y)}的获取过程为:⑥ -1、计 算 {SPh}中 的 不 同 区 域 之 间 的 视 差 相 似 性,将{SPh} 中的 第 p 个 区 域 与 第 q 个 区 域 之 间 的 视 差 相 似 性 记 为 Simd(SPp,SPq),其中,1≤p≤M,1≤q≤M,p≠q,SPp表示{SPh}中的第p个区域,SPq表示{SPh}中的第q个区域,符号“| |”为取绝对值符号,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的视差值, 表示SPp中包含的像素点的总个数, 表示SPq中包含的像素点的总个数;
⑥-2、计算{SPh}中的不同区域之间的空间相似性,将{SPh}中的第p个区域与第q个区域之间的空间相似性记为Sims(SPp,SPq), 其中,
1≤p≤M,1≤q≤M,p≠q,SPp表示{SPh}中的第p个区域,SPq表示{SPh}中的第q个区域, 表示SPp中的中心像素点的坐标位置, 表示SPq中的中心像素点的坐标位置,符号“|| ||”为求欧式距离符号,max()为取最大值函数,exp()表示以自然基数e为底的指数函数,λ为控制参数;
⑥-3、根据{SPh}中的不同区域之间的视差相似性和空间相似性,计算{SPh}中的每个区域的深度显著值,将{SPh}中的第h个区域SPh的深度显著值记为其 中,1 ≤ h ≤ M,1 ≤ q ≤ M,h ≠ q,Simd(SPh,SPq)表示SPh与SPq之间的视差相似性,Sims(SPh,SPq)表示SPh与SPq之间的空间相似性;
⑥-4、将{SPh}中的每个区域的深度显著值作为对应区域中的所有像素点的显著值,从而得到{IR(x,y)}的深度显著图,记为{SDP(x,y)},其中,SDP(x,y)表示{SDP(x,y)}中坐标位置为(x,y)的像素点的像素值。
6.根据权利要求5所述的一种立体图像视觉显著图提取方法,其特征在于所述的步骤⑦的具体过程为:⑦-1、计算{SPh}中的每个区域的第一视差对比度,将{SPh}中的第h个区域SPh的第一视差对比度记为 其中, 表示{dR(x,y)}中与SPh对应的区域中的所有像素点的视差均值,dh,max表示{dR(x,y)}中与SPh对应的区域中的所有像素点的视差值按从大到小的顺序排序后,前1%的视差值对应的所有像素点的视差均值;
dh,min表示{dR(x,y)}中与SPh对应的区域中的所有像素点的视差值按从大到小的顺序排序后,后1%的视差值对应的所有像素点的视差均值;
⑦-2、计算{SPh}中的每个区域的第二视差对比度,将{SPh}中的第h个区域SPh的第二视差对比度记为⑦-3、计算{SPh}中的每个区域的视觉舒适度预测值,将{SPh}中的第h个区域SPh的视觉舒适度预测值记为Qh,pred, 其中, 为采用与步骤②相同的方法计算得到的SPh的用于反映视觉舒适度的特征矢量, 的维数为3,表示 的线性函数;
⑦-4、根据{SPh}中的每个区域的第一视差对比度、第二视差对比度和视觉舒适度预测值,计算{SPh}中的每个区域的视觉舒适度显著值,将{SPh}中的第h个区域SPh的视觉舒适度显著值记为 其中,β为控制参数,T为阈值;
⑦-5、将{SPh}中的每个区域的视觉舒适度显著值作为对应区域中的所有像素点的显著值,从而得到{IR(x,y)}的视觉舒适度显著图,记为{SVC(x,y)},其中,SVC(x,y)表示{SVC(x,y)}中坐标位置为(x,y)的像素点的像素值。