欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017113803897
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种非对称多失真立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤如下:

①_1、选取N幅宽度为W且高度为H的原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、高斯模糊失真和高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;接着将所有原始的无失真立体图像及各自对应的L个失真强度的JPEG失真立体图像构成第一训练图像集,记为并将所有原始的无失真立体图像及各自对应的L个失真强度的高斯模糊失真立体图像构成第二训练图像集,记为 将所有原始的无失真立体图像及各自对应的L个失真强度的高斯白噪声失真立体图像构成第三训练图像集,记为其中,N>1,L>1, 表示 和

中的第u幅原始的无失真立体图像, 表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像, 表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像, 表示 中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像;

①_2、采用6种不同的全参考图像质量评价方法分别获取和 各自中的每幅失真立体图像的

客观评价预测值;然后将 中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将 中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量;

①_3、将 中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第一训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第一训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 接着利用 和 构造第一质量预测模型,记为g1(y1), 其中,g1()为函数表示形式,y1用于表示图像质量矢量,且作为第一质量预测模型的输入矢量,为 的转置, 为y1的线性函数;

同样,将 中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第二训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第二训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 接着利用 和 构造第二质量预测模型,记为g2(y2), 其中,g2()为函数表示形式,y2用于表示图像质量矢量,且作为第二质量预测模型的输入矢量,为 的转置, 为y2的线性函数;

同样,将 中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第三训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第三训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 接着利用 和 构造第三质量预测模型,记为g3(y3), 其中,g3()为函数表示形式,y3用于表示图像质量矢量,且作为第三质量预测模型的输入矢量,为 的转置, 为y3的线性函数;

①_4、计算 中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到 中的每幅失真立体图像的局部相位图像和局部振幅图像,将 的局部相位图像和局部振幅图像对应记为 和然后将 中的所有失真立体图像的局部相位图像构成的集合记为 并将 中的所有失真立体图

像的局部振幅图像构成的集合记为

同样,计算 中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到 中的每幅失真立体图像的局部相位图像和局部振幅图像,将 的局部相位图像和局部振幅图像对应记为 和 然后将 中的所有失真立体图像的局部相位图像构成的集合记为并将 中的所有失真立体图像的局部

振幅图像构成的集合记为

同样,计算 中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到 中的每幅失真立体图像的局部相位图像和局部振幅图像,将 的局部相位图像和局部振幅图像对应记为 和 然后将 中的所有失真立体图像的局部相位图像构成的集合记为并将 中的所有失真立体图像的局部

振幅图像构成的集合记为

①_5、将 中的每幅局部相位图像和

中的每幅局部振幅图像分别划分成 个互不重叠的尺寸大小为8×8的子块;然后将 中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将 中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为 其中,符号 为向下取整运算符号,1≤k≤M,和 的维数均为64×1;

同样,将 中的每幅局部相位图像和

中的每幅局部振幅图像分别划分成 个互不重叠的尺寸大小为8×8的子块;然后将 中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为 并将 中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为 其中, 和 的维数均为64×1;

同样,将 中的每幅局部相位图像和

中的每幅局部振幅图像分别划分成 个互不重叠的尺寸大小为8×8的子块;然后将 中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为 接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为 并将 中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为 其中, 和 的维数均为64×1;

①_6、将 中的每幅失真立体图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将 中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将 中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y1,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y1,k|1≤k≤M};其中,y1,k的维数为6×1;

同样,将 中的每幅失真立体图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将 中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将 中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y2,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y2,k|1≤k≤M};其中,y2,k的维数为6×1;

同样,将 中的每幅失真立体图像划分成 个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将 中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将 中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y3,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y3,k|1≤k≤M};其中,y3,k的维数为6×1;

①_7、采用K-SVD方法对由 {y1,k|

1≤k≤M}、{y2,k|1≤k≤M}和{y3,k|1≤k≤M}构成的集合进行联合字典训练操作,构造得到各自的图像特征字典表和图像质量字典表,对应记为 和 其中,和 的维数均为64×K, 和 的维数均为6×K,K表示设定的字典的个数,K≥1;

同样,采用K-SVD方法对由 {y1,k|

1≤k≤M}、{y2,k|1≤k≤M}和{y3,k|1≤k≤M}构成的集合进行联合字典训练操作,构造得到和 各自的图像特征字典表和图像质量字典表,对应记为 和 其中,和 的维数均为64×K, 和 的维数均为6×K;

所述的测试阶段过程的具体步骤如下:

②_1、对于任意一幅宽度为W'且高度为H'的测试立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest;其中,W'与W相同或不相同,H'与H相同或不相同;

②_2、采用与步骤①_4相同的操作,获取Stest、Ltest和Rtest各自的局部相位图像和局部振幅图像,将Ltest的局部相位图像和局部振幅图像对应记为 和 将Rtest的局部相位图像和局部振幅图像对应记为 和②_3、将 和 分别划分成 个互不重叠的尺寸大小为

8×8的子块;然后将 中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将 中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 将 中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将 中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 接着将 中的所有子块的图像特征矢量构成的集合记为 并将 中的所有子块的图像特征矢量构成的集合记为 将 中的所有子块的图像特征矢量构成的集合记为 将 中的所有子块的图像特征矢量构成的集合记为 其中, 和 的

维数均为64×1;

②_4、根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第一稀疏系数矩阵,将 的第一稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将 的第一稀疏系数矩阵记为 是采用K-SVD方法求解得到的;

同样,根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第二稀疏系数矩阵,将 的第二稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将的第二稀疏系数矩阵记为 是采用K-SVD方法求解 得到的;

同样,根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第三稀疏系数矩阵,将 的第三稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将 的第三稀疏系数矩阵记为 是采用K-SVD方法求解得到的;

同样,根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第一稀疏系数矩阵,将 的第一稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将 的第一稀疏系数矩阵记为 是采用K-SVD方法求解得到的;

同样,根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第二稀疏系数矩阵,将 的稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将的第二稀疏系数矩阵记为 是采用K-SVD方法求解得到的;

同样,根据在训练阶段过程构造得到的 分别优化重构 和各自中的每个图像特征矢量的第三稀疏系数矩阵,将 的第三稀疏系数矩阵记为 是采用K-SVD方法求解 得到的,将 的第三稀疏系数矩阵记为 是采用K-SVD方法求解得到的;

其中, 和 的维

数均为K×1,min()为取最小值函数,符号“|| ||F”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“|| ||1”为求取矩阵的1-范数符号,λ为拉格朗日参数;

②_5、根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第一图像质量矢量,将 中的第t个子块的第一图像质量矢量记为将 中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第二图像质量矢量,将 中的第t个子块的第二图像质量矢量记为将 中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第三图像质量矢量,将 中的第t个子块的第三图像质量矢量记为将 中的第t个子块的第三图像质量矢量记为同样,根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第一图像质量矢量,将 中的第t个子块的第一图像质量矢量记为将 中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第二图像质量矢量,将 中的第t个子块的第二图像质量矢量记为将 中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的 分别估计 和 各自中的每个子块的第三图像质量矢量,将 中的第t个子块的第三图像质量矢量记为将 中的第t个子块的第三图像质量矢量记为其中, 和

的维数均为6×1;

②_6、计算 中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为 和其中,exp()表示以自然基数e为底的指数函数,符号“|| ||2”为求取矩阵的2-范数符号,η为控制参数, 为 的输入矢量;

同样,计算 中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为 和其

中, 为 的输入矢量;

同样,计算 中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为 和其

中, 为 的输入矢量;

同样,计算 中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为 和其中,

为 的输入矢量;

L,P

②_7、计算 的全局稀疏系数矩阵和全局图像质量,对应记为 和Q ,同样,计算 的全局稀疏系数矩阵和全局图像质量,对应记为 和QR,P,同样,计算 的全局稀疏系数矩阵和全局图像质量,对应记为 和QL,A,同样,计算 的全局稀疏系数矩阵和全局图像质量,对应记为 和QR,A,②_8、根据 和 及QL,P和QR,P,计算Stest的局部相位图像的质量客观评价预测值,记为QP,QP=ωL,P×QL,P+ωR,P×QR,P;其中,ωL,P为QL,P的权值,ωR,P为QR,P的权值,

符号“< >”为求内积符号,C为控制参数;

同样,根据 和 及QL,A和QR,A,计算Stest的局部振幅图像的质量客观评价预测值,记为QA,QA=ωL,A×QL,A+ωR,A×QR,A;其中,ωL,A为QL,A的权值,ωR,A为QR,A的权值,

②_9、根据QP和QA,计算Stest的图像质量客观评价预测值,记为Q,Q=(ωP×(QP)n+(1-ωP)×(QA)n)1/n;其中,ωP和n均为加权参数。

2.根据权利要求1所述的一种非对称多失真立体图像质量客观评价方法,其特征在于所述的步骤①_4中, 和 的获取过程为:①_4a、采用Log-Gabor滤波器对 中的每个像素点进行滤波处理,得到 中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将 中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为eα,θ(x,y),将 中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为oα,θ(x,y);其中,1≤x≤W,1≤y≤H,α表示Log-Gabor滤波器的尺度因子, θ表示Log-Gabor滤波器的方向因子,

①_4b、计算 中的每个像素点在不同方向的相位一致性特征,将 中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PCθ(x,y), 其中,

①_4c、根据 中的每个像素点的最大相位一致性特征对应的方向,计算 中的每个像素点的局部相位特征和局部振幅特征;对于 中坐标位置为(x,y)的像素点,首先找出该像素点在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算该像素点的局部相位特征和局部振幅特征,对应记为 和其中, arctan()为取反余弦函数,表示 中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的奇对称频率响应,表示 中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的偶对称频率响应,①_4d、根据 中的所有像素点的局部相位特征,得到 的局部相位图像 同样,根据 中的所有像素点的局部振幅特征,得到 的局部振幅图像按照步骤①_4a至步骤①_4d获取 和 的过程,以相同的方式获取 和和

3.根据权利要求1或2所述的一种非对称多失真立体图像质量客观评价方法,其特征在于所述的步骤①_7中, 和 是采用K-SVD方法求解得到的,其中,min()为取最小

值函数,符号“|| ||F”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“|| ||1”为求取矩阵的1-范数符号,1≤s≤3,和 的维数均为64×M, 为 中的第1个第一图像特征矢量, 为 中的第k个第一图像特征矢量, 为中的第M个第一图像特征矢量, 为 中的第1个第一图像特征矢量, 为 中的第k个第一图像特征矢量, 为 中的第M个第一图像特征矢量, 为 中的第1个第一图像特征矢量, 为中的第k个第一图像特征矢量, 为 中的第M个第一图像特征矢量,Y1=[y1,1…y1,k…y1,M],Y2=[y2,1…y2,k…y2,M],Y3=[y3,1…y3,k…y3,M],Y1、Y2和Y3的维数均为6×M,y1,1为{y1,k|1≤k≤M}中的第1个图像质量矢量,y1,k为{y1,k|1≤k≤M}中的第k个图像质量矢量,y1,M为{y1,k|1≤k≤M}中的第M个图像质量矢量,y2,1为{y2,k|1≤k≤M}中的第1个图像质量矢量,y2,k为{y2,k|1≤k≤M}中的第k个图像质量矢量,y2,M为{y2,k|1≤k≤M}中的第M个图像质量矢量,y3,1为{y3,k|1≤k≤M}中的第1个图像质量矢量,y3,k为{y3,k|1≤k≤M}中的第k个图像质量矢量,y3,M为{y3,k|1≤k≤M}中的第M个图像质量矢量,和 均表示稀疏矩阵,和 的维数均为K×M, 为

中的第1个列向量, 为 中的第k个列向量, 为 中的第M个列向量, 为 中的第1个列向量, 为 中的第k个列向量, 为 中的第M个列向量, 为 中的第

1个列向量 , 为 中的 第k个列向量, 为 中的 第M个列向量,的维数均为K×1,符号“[]”为矢量表示符号,γ为加权参数,λ为拉格朗日参数;

所述的步骤①_7中, 和 是采用K-SVD方法求解得到的,其中,

的维数均为64×M, 为 中的第1个第二图像特征矢量, 为中的第k个第二图像特征矢量, 为 中的第M个第二图像特征矢量, 为 中的第1个第二图像特征矢量, 为 中的第k个第二图像特征矢量, 为 中的第M个第二图像特征矢量, 为中的第1个第二图像特征矢量, 为 中的第k个第二图像特征矢量, 为 中的第M个第二图像特征矢量, 和 均表示稀疏矩阵,

和 的维数均为K×M, 为 中的第1个列向量, 为 中的第k个列向量, 为中的第M个列向量, 为 中的第1个列向量, 为 中的第k个列向量, 为 中的第M个列向量, 为 中的第1个列向量, 为 中的第k个列向量, 为 中的第M个列向量, 的维数均为K×1。