1.一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于包括以下步骤:
①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;
②提取出{IR(x,y)}的显著图;然后根据{IR(x,y)}的显著图和{dR(x,y)},获取{IR(x,y)}的视觉显著图;再将{IR(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域;最后根据{IR(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},其中,M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值;
③根据{dR(x,y)}和{M(x,y)},获取{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ,然后将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ);
④通过计算{dR(x,y)}的视差梯度幅值图像和视差梯度方向图像,计算{dR(x,y)}的视差梯度边缘图像;然后根据{dR(x,y)}的视差梯度边缘图像和{M(x,y)},计算{dR(x,y)}的视差梯度边缘图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ;最后将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2;
⑤获取{IR(x,y)}的空间频率图像;然后根据{IR(x,y)}的空间频率图像和{M(x,y)},获取{IR(x,y)}的空间频率图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ;再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ);
⑥将F1、F2及F3构成一个新的特征矢量,记为X,X=[F1,F2,F3],然后将X作为待评价的立体图像的特征矢量,其中,符号“[]”为矢量表示符号,[F1,F2,F3]表示将F1、F2和F3连接起来形成一个新的特征矢量;
⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合,利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,记为MOS,其中,n≥1,MOS∈[1,5];然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作,以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第i幅立体图像的特征矢量记为Xi,其中,1≤i≤n,n表示立体图像集合中包含的立体图像的幅数;
⑧将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权重opt opt opt opt矢量w 和最优的偏置项b ,接着利用w 和b 构造得到支持向量回归训练模型,再根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'),其中,f()为函数表示形式,Xk'表示测试样本数据集合中的第opt T opt
k'幅立体图像的特征矢量,(w ) 为w 的转置矩阵, 表示测试样本数据集合中的第k'幅立体图像的线性函数,1≤k'≤n-t,t表示训练集中包含的立体图像的幅数;之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值,其中,N的值取大于100。
2.根据权利要求1所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤②的具体过程为:②-1、采用基于图论的视觉显著性模型提取出{IR(x,y)}的显著图,记为{SMR(x,y)},其中,SMR(x,y)表示{SMR(x,y)}中坐标位置为(x,y)的像素点的像素值;
②-2、根 据 {SMR(x,y)}和 {dR(x,y)},获 取{IR(x,y)} 的 视 觉 显 著 图,记 为{DR(x,y)},将{DR(x,y)}中坐标位置为(x,y)的像素点的像素值记为DR(x,y),其中, 表示SMR(x,y)的权重, 表示dR(x,y)的权重,
②-3、根据{DR(x,y)}中的每个像素点的像素值,将{DR(x,y)}划分为视觉重要区域和非视觉重要区域,{DR(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T1,{DR(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T1,其中,T1为利用大津法对{DR(x,y)}进行处理得到的阈值;
②-4、根据{DR(x,y)}的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y),
3.根据权利要求2所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤②-2中取
4.根据权利要求1至3中任一项所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤③的具体过程为:③ -1、根 据 {dR(x,y)} 和 {M(x,y)},计 算 {dR(x,y)} 中 与 {IR(x,y)} 的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值,记为μ,其中,Ω表示图像域范围;
③ -2、根 据 {dR(x,y)}和 {M(x,y)} 及 μ,计 算{dR(x,y)} 中 与{IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差,记为δ,③-3、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差,记为θ,其中,θ的值为{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
③-4、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围,记为χ,χ=dmax-dmin,其中,dmax表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值,dmin表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
③-5、将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ),F1的维数为4。
5.根据权利要求4所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④的具体过程为:④-1、计算{dR(x,y)}的视差梯度幅值图像,记为{m(x,y)},将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y), 其中,Gx(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,Gy(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值;
④-2、计算{dR(x,y)}的视差梯度方向图像,记为{θ(x,y)},将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y),θ(x,y)=arctan(Gy(x,y)/Gx(x,y)),其中,arctan()为取反正切函数;
④-3、根 据{m(x,y)}和{θ(x,y)},计 算{dR(x,y)}的 视差 梯度边 缘图 像,记为{E(x,y)},将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p),其中,Gs(||p-q||)表示标准差为σs的高斯函数, ||p-q||表示坐标位置p和坐标位置q之间的欧氏
距离,符号“||||”为求欧氏距离符号, 表示标准差为σo的高斯函数,表示 与 之间的欧氏距离,
θ(p)表示{θ(x,y)}中坐标
位置为p的像素点的梯度方向值,θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值, m(q)表示{m(x,y)}中坐标位置为q的像素点的梯度幅值,m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值,εg为控制参数,符号“[]”为矢量表示符号,exp()表示以e为底的指数函数,e=2.71828183, 表示以坐标位置为p的像素点为中心的邻域窗口, 表示以坐标位置为q的像素点为中心的邻域窗口;
④-4、根据{E(x,y)}和{M(x,y)},计算{E(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值,记为ψ,其中,Ω表示图像域范围,E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值;
④-5、将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2,F2的维数为
1。
6.根据权利要求5所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④-3中取σs=0.4,σo=0.4,εg=0.5。
7.根据权利要求6所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④-3中 的大小为3×3, 的大小为3×3。
8.根据权利要求7所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤⑤的具体过程为:⑤ -1、 计 算 {IR(x,y)} 的 空 间 频 率 图 像, 记 为 {SF(x,y)}, 将{SF(x,y)}中 坐 标 位 置 为 (x,y)的 像 素 点 的 空 间 频 率 值 记 为 SF(x,y),其 中 ,H F ( x , y ) 表示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 水 平 方 向 频 率 值,V F ( x , y ) 表示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 垂 直 方 向 频 率 值,DF(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的对角方向频率值,
IR(x+m,y+n)表示{IR(x,y)}中坐标位 置为(x+m,y+n)的像素点的像素 值,IR(x+m,y+n-1)表示{IR(x,y)}中坐标位置 为(x+m,y+n-1)的像素点的像素 值,IR(x+m-1,y+n)表示{IR(x,y)}中坐标位置 为(x+m-1,y+n)的像素点的像素 值,IR(x+m-1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值,IR(x+m+1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值,如果x+m<1,则IR(x+m,y+n)的值由IR(1,y+n)的值替代,IR(x+m,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m-1<1,则IR(x+m-1,y+n)的值由IR(1,y+n)的值替代,IR(x+m-1,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m>W,则IR(x+m,y+n)的值由IR(W,y+n)的值替代,IR(x+m,y+n-1)的值由IR(W,y+n-1)的值替代;如果x+m+1>W,则IR(x+m+1,y+n-1)的值由IR(W,y+n-1)的值替代;如果y+n<1,则IR(x+m,y+n)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,1)的值替代;如果y+n-1<1,则IR(x+m,y+n-1)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n-1)的值由IR(x+m-1,1)的值替代,IR(x+m+1,y+n-1)的值由IR(x+m+1,1)的值替代;如果y+n>H,则IR(x+m,y+n)的值由IR(x+m,H)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,H)的值替代;
⑤-2、根 据 {SF(x,y)}和 {M(x,y)},计 算 {SF(x,y)}中 与 {IR(x,y)} 的 视 觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值,记为ν,其中,Ω表示图像域范围;
⑤-3、根据{SF(x,y)}和{M(x,y)}及ν,计 算{SF(x,y)}中与{IR(x,y)}的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差,记为ρ,⑤-4、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围,记为ζ,ζ=SFmax-SFmin,其中,SFmax表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值,SFmin表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值;
⑤-5、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子,记为τ,τ=ν/μ;
⑤-6、将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ),F3的维数为4。
9.根据权利要求8所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤⑧的具体过程为:⑧-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,其中,符号 为向上取整符号;
⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为Ωt,{Xk,MOSk}∈Ωt,其中,Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量,MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值,
1≤k≤t;
⑧-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数,将Xk的T
回归函数记为f(Xk), 其中,f()为函数表示形式,w为权重矢量,w 为
w的转置矩阵,b为偏置项, 表示Xk的线性函数, D(Xk,Xl)为
支持向量回归中的核函数, Xl为训练样本数据集合Ωt中的
第l幅立体图像的特征矢量,1≤l≤t,γ为核参数,exp()表示以e为底的指数函数,e=2.71828183,符号“||||”为求欧式距离符号;
⑧-4、采用支持向量回归对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最opt opt opt opt优的权重矢量w 和最优的偏置项b ,将最优的权重矢量w 和最优的偏置项b 的组合opt opt opt
记为(w ,b ), 利用得到的最优的权重矢量w
和最优的偏置项bopt构造支持向量回归训练模型,记为 其中,
Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表示使得 最小的w和b的值,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵, 表示支持向量回归训练模型的输入矢量Xinp的线性函数;
⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'), 其中,Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量, 表示测试样本数据集合中的第k'幅立体图像的线性函数,
1≤k'≤n-t;
⑧-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,然后返回步骤⑧-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。
10.根据权利要求9所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤⑧-3中取γ=54。