欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2013105227500
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2023-07-20
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种立体图像视觉舒适度评价方法,其特征在于包括以下步骤:

①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;

②采用多个不同尺度对{IR(x,y)}进行分块处理,然后获取{IR(x,y)}在不同尺度下的每个子块的特征矢量,接着根据{IR(x,y)}在不同尺度下的每个子块的特征矢量,获取{IR(x,y)}在不同尺度下的每个子块的显著值,进而获得{IR(x,y)}在不同尺度下的图像显著图,最后将{IR(x,y)}在不同尺度下的图像显著图进行融合,得到{IR(x,y)}的最终的图像显著图,记为{SMimg(x,y)},其中,SMimg(x,y)表示{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值;

所述的步骤②的具体过程为:

②-1、采用J个不同尺度对{IR(x,y)}进行分块处理,在第j个尺度hj下将{IR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块,其中,1≤j≤J,2≤J≤5,符号为向下取整符号;

②-2、将{IR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第一子块,其中,②-3、将当前第一子块记为{fj,l(x2,y2)},其中,(x2,y2)表示当前第一子块{fj,l(x2,y2)}中的像素点的坐标位置,1≤x2≤hj,1≤y2≤hj,fj,l(x2,y2)表示当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;

②-4、获取当前第一子块{fj,l(x2,y2)}中的每个像素点的水平梯度值和垂直梯度值,获取当前第一子块{fj,l(x2,y2)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值,获取当前第一子块{fj,l(x2,y2)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量,获取当前第一子块{fj,l(x2,y2)}中的每个像素点经Log-Gabor滤波后得到的振幅;

②-5、根据步骤②-4获取的当前第一子块{fj,l(x2,y2)}中的每个像素点的多个图像感知特征,以及当前第一子块{fj,l(x2,y2)}中的每个像素点的坐标位置,获取当前第一子块{fj,l(x2,y2)}中的每个像素点的特征矢量,将当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为f f

,其中,符号“[]”为矢量表示符号, 的维数为10,GX(x2,y2)和GY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值,L(x2,y2)、a(x2,y2)及b(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值,ΔRG(x2,y2)和ΔBY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的红-绿颜色分量和蓝-黄颜色分量,LG(x2,y2)为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经Log-Gabor滤波后得到的振幅;

②-6、根据当前第一子块{fj,l(x2,y2)} 中的每个像素点的特征

矢量,计算当前第一子块 {fj,l(x2,y2)} 的协方差矩阵,记为

其 中, 表示当前第一

子块{fj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量, 为

的转置矢量, 的维数为10×10;

②-7、对当前第一子块{fj,l(x2,y2)}的协方差矩阵 进行 Cholesky分解, 得 到 当 前 第 一子 块 {fj,l(x2,y2)}的Sigma 特 征集,记 为T

其中,L

(1) (i')

为L的转置矩阵,此处1≤i'≤10,L 表示L的第1列向量,L 表示L的第i'列向量,(10)L 表示L的第10列向量, 的维数为10×21;

② -8、计算当前第一子块 {fj,l(x2,y2)} 的显著值,记为

其 中, N(l)表示以当前第一子块

{fj,l(x2,y2)}为中心的邻域窗口, 表示当前第一子块{fj,l(x2,y2)}的Sigma特征集与相邻的第l'个子块的Sigma特征集 之间的欧式距离, 符号“||||”为求欧式距离符号,此处xl表示当前第一子块{fj,l(x2,y2)}的中心像素点的坐标位置,此处xl'表示与当前第一子块{fj,l(x2,y2)}相邻的第l'个子块的中心像素点的坐标位置,表示N(l)内的所有子块的Sigma特征集与当前第一子块{fj,l(x2,y2)}的Sigma特征集之间的欧氏距离中的最小值, h为控制系数;

②-9、根据人眼的中心偏移特性,计算当前第一子块{fj,l(x2,y2)}的最终的显著值,记为 其中,符号“||||”为求欧式距离符号,xc表示{IR(x,y)}的中心像素点的坐标位置,Z为控制系数;

②-10、将当前第一子块{fj,l(x2,y2)}的最终的显著值 作为当前第一子块{fj,l(x2,y2)}中的所有像素点的显著值,然后令l=l+1,将{IR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第一子块,再返回步骤②-3继续执行,直至{IR(x,y)}在第j个尺度hj下的所有子块均处理完毕,得到在第j个尺度hj下{IR(x,y)}的图像显著图,记为 其中,l=l+1中的“=”为赋值符号, 表示 中坐标位置为(x,y)的像素点的像素值;

②-11、令j=j+1,然后返回步骤②-2继续执行,直至得到{IR(x,y)}在J个不同尺度下的图像显著图,再将{IR(x,y)}在J个不同尺度下的图像显著图进行融合,得到{IR(x,y)}的最终的图像显著图,记为{SMimg(x,y)},将{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMimg(x,y), 其中,j=j+1中“=”为赋值符号,“*”为卷积操作符号,Gσ(x,y)表示标准差为σ的高斯函数;

③采用多个不同尺度对{dR(x,y)}进行分块处理,然后获取{dR(x,y)}在不同尺度下的每个子块的特征矢量,接着根据{dR(x,y)}在不同尺度下的每个子块的特征矢量,获取{dR(x,y)}在不同尺度下的每个子块的显著值,进而获得{dR(x,y)}在不同尺度下的深度显著图,最后将{dR(x,y)}在不同尺度下的深度显著图进行融合,得到{dR(x,y)}的最终的深度显著图,记为{SMdep(x,y)},其中,SMdep(x,y)表示{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值;

所述的步骤③的具体过程为:

③-1、采用J个不同尺度对{dR(x,y)}进行分块处理,在第j个尺度hj下将{dR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块,其中,1≤j≤J,2≤J≤5,符号为向下取整符号;

③-2、将{dR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第二子块,其中,③-3、将当前第二子块记为{gj,l(x2,y2)},其中,(x2,y2)表示当前第二子块{gj,l(x2,y2)}中的像素点的坐标位置,1≤x2≤hj,1≤y2≤hj,gj,l(x2,y2)表示当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;

③-4、获取当前第二子块{gj,l(x2,y2)}中的每个像素点的像素值、水平梯度值和垂直梯度值,获取当前第二子块{gj,l(x2,y2)}中的每个像素点经高斯差分算子后得到的响应值;

③-5、根据步骤③-4获取的当前第二子块{gj,l(x2,y2)}中的每个像素点的多个深度感知特征,获取当前第二子块{gj,l(x2,y2)}中的每个像素点的特征矢量,将当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为其中,符号“[]”为矢量表示

符号, 的维数为4,dR(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)g g的像素点的像素值,GX(x2,y2)和GY(x2,y2)对应为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值,DoG(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经高斯差分算子后得到的响应值;

③-6、根据当前第二子块{gj,l(x2,y2)} 中的每个像素点的特征

矢量,计算当前第二子块 {gj,l(x2,y2)} 的协方差矩阵,记为

其中, 表示当前第二

子块{gj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量, 为

的转置矢量, 的维数为4×4;

③-7、对当前第二子块{gj,l(x2,y2)}的协方差矩阵 进行Cholesky分解,得到当前第二子块{gj,l(x2,y2)}的Sigma特征集,记为

T (1) (i')

其中,L'为L'的转置矩阵,此处1≤i'≤4,L' 表示L'的第1列向量,L' 表示L'的第i'列向量,L'(4)表示L'的第4列向量, 的维数为4×9;

③ -8、计算当前第二子块 {gj,l(x2,y2)} 的显著值,记为

其中, N'(l)表示以当前第二子块

{gj,l(x2,y2)}为中心的邻域窗口, 表示当前第二子块{gj,l(x2,y2)}的Sigma特征集与相邻的第l'个子块的Sigma特征集 之间的欧式距离, 符号“||||”为求欧式距离符号,此处xl表示当前第二子块{gj,l(x2,y2)}的中心像素点的坐标位置,此处xl'表示与当前第二子块{gj,l(x2,y2)}相邻的第l'个子块的中心像素点的坐标位置,表示N'(l)内的所有子块的Sigma特征集与当前第二子块{gj,l(x2,y2)}的Sigma特征集 之间的欧氏距离中的最小值, h为控制系数;

③-9、将当前第二子块{gj,l(x2,y2)}的显著值 作为当前第二子块{gj,l(x2,y2)}中的所有像素点的显著值,然后令l=l+1,将{dR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第二子块,再返回步骤③-3继续执行,直至{dR(x,y)}在第j个尺度hj下的所有子块均处理完毕,得到在第j个尺度hj下{dR(x,y)}的深度显著图,记为其中,l=l+1中的“=”为赋值符号, 表示 中坐标位置为(x,y)的像素点的像素值;

③-10、令j=j+1,然后返回步骤③-2继续执行,直至得到{dR(x,y)}在J个不同尺度下的深度显著图,再将{dR(x,y)}在J个不同尺度下的深度显著图进行融合,得到{dR(x,y)}的最终的深度显著图,记为{SMdep(x,y)},将{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMdep(x,y), 其中,j=j+1中“=”为赋值符号,“*”为卷积操作符号,Gσ(x,y)表示标准差为σ的高斯函数;

④根据{IR(x,y)}的图像显著图{SMimg(x,y)}和{dR(x,y)}的深度显著图{SMdep(x,y)},获取{IR(x,y)}的立体显著图,记为{SM3D(x,y)},将{SM3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM3D(x,y), 其中, 表示SMimg(x,y)的权重, 表示SMdep(x,y)的权重,

⑤根据{dR(x,y)}和{SM3D(x,y)},计算{dR(x,y)}中立体显著图加权的视差幅值和视差梯度,对应记为ξ1和ξ2;并根据{IR(x,y)}和{SM3D(x,y)},计算{IR(x,y)}中立体显著图加权的空间频率,记为ξ3;然后将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量,记为X,X=[ξ1,ξ2,ξ3],其中,此处符号“[]”为矢量表示符号;

所述的步骤⑤的具体过程为:

⑤-1、根据{dR(x,y)}和{SM3D(x,y)},计算{dR(x,y)}中立体显著图加权的视差幅值,记为ξ1, 其中,符号“||”为取绝对值符号;

⑤-2、根据{dR(x,y)}和{SM3D(x,y)},计算{dR(x,y)}中立体显著图加权的视差梯度,记为ξ2, ΔdR(x,y)=(dR(x+1,y)+dR(x-1,y)+dR(x,y+1)+dR(x,y-1))/4-dR(x,y),其中,符号“||”为取绝对值符号,dR(x+1,y)表示{dR(x,y)}中坐标位置为(x+1,y)的像素点的像素值,dR(x-1,y)表示{dR(x,y)}中坐标位置为(x-1,y)的像素点的像素值,dR(x,y+1)表示{dR(x,y)}中坐标位置为(x,y+1)的像素点的像素值,dR(x,y-1)表示{dR(x,y)}中坐标位置为(x,y-1)的像素点的像素值,如果x+1>W,则dR(x+1,y)的值由dR(W,y)的值替代,如果x-1<1,则dR(x-1,y)的值由dR(1,y)的值替代,如果y+1>H,则dR(x,y+1)的值由dR(x,H)的值替代,如果y-1<1,则dR(x,y-1)的值由dR(x,1)的值替代;

⑤ -3、 根 据 {IR(x,y)} 和 {SM3D(x,y)}, 计 算 {IR(x,y)} 中 立 体 显 著图加权的空间频率,记为 ξ3,其中,IR(x-1,y)表示{IR(x,y)}

中坐标位置为(x-1,y)的像素点的像素值,IR(x,y-1)表示{IR(x,y)}中坐标位置为(x,y-1)的像素点的像素值,如果x-1<1,则IR(x-1,y)的值由IR(1,y)的值替代,如果y-1<1,则IR(x,y-1)的值由IR(x,1)的值替代;

⑤-4、将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量,记为X,X=[ξ1,ξ2,ξ3],其中,此处符号“[]”为矢量表示符号,X的维数为

3;

⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合,其中,n≥1;然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOSi,其中,1≤i≤n,MOSi∈[1,5];再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作,以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第i幅立体图像的特征矢量记为Xi;

⑦将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,训练得到最优的权重矢量wopt和最优的偏置项bopt,接着利用wopt和bopt构造得到支持向量回归训练模型,再根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',其中,1≤k'≤K',K'表示测试样本数据集合中包含的立体图像的幅数,f()为函数表示形式,Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量,(wopt)T为wopt的转置矢量, 表示Xk'的线性函数;

之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。

2.根据权利要求1所述的一种立体图像视觉舒适度评价方法,其特征在于所述的步骤②-1中取J=4,j=1时取h1=8,j=2时取h2=16,j=3时取h3=32,j=4时取h4=64;所述的步骤②-8中取N(l)的大小为7×7,取h=0.5;所述的步骤②-9中取所述的步骤②-11中取σ=0.02×H。

3.根据权利要求1所述的一种立体图像视觉舒适度评价方法,其特征在于所述的步骤③-1中取J=4,j=1时取h1=8,j=2时取h2=16,j=3时取h3=32,j=4时取h4=64;所述的步骤③-8中取N'(l)的大小为3×3,取h=0.5;所述的步骤③-10中取σ=0.02×H。

4.根据权利要求3所述的一种立体图像视觉舒适度评价方法,其特征在于所述的步骤④中取

5.根据权利要求1所述的一种立体图像视觉舒适度评价方法,其特征在于所述的步骤⑦的具体过程为:⑦-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像

集合中剩余的K'=n-t幅立体图像构成测试集,其中,符号 为向上取整符号;

⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为Ωt,{Xk,MOSk}∈Ωt,其中,Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量,MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值,

1≤k≤t;

⑦-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数,将Xk的回归函数记为f(Xk), 其中,f()为函数表示形式,w为权重矢量,wT为w的转置矢量,b为偏置项, 表示Xk的线性函数, D(Xk,Xl')为支

持向量回归中的核函数, Xl'为训练样本数据集合Ωt中的

第l'幅立体图像的特征矢量,1≤l'≤t,γ为核参数,exp()表示以e为底的指数函数,e=2.71828183,符号“||||”为求欧式距离符号;

⑦-4、采用支持向量回归作为机器学习的方法,对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间opt opt opt的误差最小,拟合得到最优的权重矢量w 和最优的偏置项b ,将最优的权重矢量wopt opt opt和最优的偏置项b 的组合记为(w ,b ),

opt opt

利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型,记为其中,Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表

示使得 最小的w和b的值,Xinp表示支持向量回归训练模型的输入矢量,

(wopt)T为wopt的转置矢量, 表示支持向量回归训练模型的输入矢量Xinp的线性函数;

⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'), 其中,1≤k'≤K',Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量, 表示Xk'的线性函数;

⑦-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将

立体图像集合中剩余的K'=n-t幅立体图像构成测试集,然后返回步骤⑦-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。

6.根据权利要求5所述的一种立体图像视觉舒适度评价方法,其特征在于所述的步骤⑦-3中取γ=54。