1.一种基于图像分解的立体图像质量客观评价方法,其特征在于它的处理过程为:首先,对原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的左视点图像的恢复图像和干扰图像;同样,对原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像实施3级小波变换,再根据得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取待评价的失真的立体图像的右视点图像的恢复图像和干扰图像;
其次,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的左视点图像的恢复图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的恢复图像中的每个像素点的局部相位特征和局部振幅特征,获取待评价的失真的立体图像的右视点图像的恢复图像的图像质量客观评价预测值;
接着,通过计算原始的无失真的立体图像的左视点图像和待评价的失真的立体图像的左视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的左视点图像的干扰图像的图像质量客观评价预测值;同样,通过计算原始的无失真的立体图像的右视点图像和待评价的失真的立体图像的右视点图像的干扰图像中的每个尺寸大小为8×8的子块的奇异值向量,获取待评价的失真的立体图像的右视点图像的干扰图像的图像质量客观评价预测值;
之后,对待评价的失真的立体图像的左视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的左视点图像的图像质量客观评价预测值;同样,对待评价的失真的立体图像的右视点图像的恢复图像和干扰图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的右视点图像的图像质量客观评价预测值;
再者,对待评价的失真的立体图像的左视点图像和右视点图像的图像质量客观评价预测值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;
最后,采用多幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,然后按照上述获取待评价的失真的立体图像的图像质量客观评价预测值的过程分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值;
该立体图像质量客观评价方法具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②分别对{Lorg(x,y)}和{Ldis(x,y)}实施3级小波变换,然后根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Ldis(x,y)}的恢复图像和干扰图像,对应记为 和 其中, 表示中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值;
分别对{Rorg(x,y)}和{Rdis(x,y)}实施3级小波变换,然后根据{Rorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Rdis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,获取{Rdis(x,y)}的恢复图像和干扰图像,对应记为 和 其中, 表示中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值;
③分别计算{Lorg(x,y)}、{Rorg(x,y)}、 和 中的每个像素点的局部相位特征和局部振幅特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为 将{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为将{Rorg(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征记为 将中坐标位置为(x,y)的像素点的局部相位特征记为 将 中
坐标位置为(x,y)的像素点的局部振幅特征记为 将 中坐标位置为
(x,y)的像素点的局部相位特征记为 将 中坐标位置为(x,y)的像素点的局部振幅特征记为
④根据{Lorg(x,y)}和 中的每个像素点的局部相位特征和局部振幅特征,计算 的图像质量客观评价预测值,记为其中,T1和T2为控制参数;
根据{Rorg(x,y)}和 中的每个像素点的局部相位特征和局部振幅特征,计算的图像质量客观评价预测值,记为其中,T1和T2为控制参数;
⑤分别将{Lorg(x,y)}和 划分成 个互不重叠的尺寸大小为8×8的子块,然后分别对{Lorg(x,y)}中的每个子块和 中的每个子块实施奇异值分解,得到{Lorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,再计算 的图像质量客观评价预测值,记为其中,Nblock表示{Lorg(x,y)}中包含的子块的个数,也表示中包含的子块的个数, 符号“||”为取绝对值符号,“<>”为取内
积函数, 表示{Lorg(x,y)}中的第k个子块的奇异值向量, 表示 中的第k个子块的奇异值向量;
分别将{Rorg(x,y)}和 划分成 个互不重叠的尺寸大小为8×8的子块,然后分别对{Rorg(x,y)}中的每个子块和 中的每个子块实施奇异值分解,得到{Rorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,再计算 的图像质量客观评价预测值,记为其中,N'block表示{Rorg(x,y)}中包含的子块的个数,也表示中包含的子块的个数, 符号“||”为取绝对值符号,“<>”为取内
积函数, 表示{Rorg(x,y)}中的第k个子块的奇异值向量, 表示 中的第k个子块的奇异值向量;
⑥对 的图像质量客观评价预测值 和 的图像质量客观
评价预测值 进行融合,得到{Ldis(x,y)}的图像质量客观评价预测值,记为QL,并对 的图像质量客观评价预测值 和 的图像质量客观评价预测值 进行融合,得到{Rdis(x,y)}的图像质量客观评价预测值,记为QR, 其中,w1表示 和 的权值比重,w2表示 和 的权值比重,w1+w2=1;
⑦对{Ldis(x,y)}的图像质量客观评价预测值QL和{Rdis(x,y)}的图像质量客观评价预测值QR进行融合,得到Sdis的图像质量客观评价预测值,记为Q,其
中,p、q、m、s和z为模型系数。
2.根据权利要求1所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤②的具体过程为:②-1、对{Lorg(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Lorg(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为 其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3, 表示 中坐标位置为(x,y)处的小波系数;
②-2、对{Ldis(x,y)}实施3级小波变换,得到每级小波变换对应的3个方向子带的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为 其中,3个方向子带分别为水平方向子带、垂直方向子带和对角方向子带,1≤m≤3,1≤n≤3, 表示 中坐标位置为(x,y)处的小波系数;
②-3、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵和{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵,估计得到{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵 的补偿参数矩阵记为 其中, 表示 中坐标位置为(x,y)处的补偿参
数, 为将输入
截断到[0,1]区间的截断函数;
②-4、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自的补偿参数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵 经恢复后得到的小波系数矩阵记为其中, 表示 中坐标位置为(x,y)处的小波系数,
然后对{Ldis(x,y)}实施3级
小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵实施反小波变换,得到{Ldis(x,y)}的恢复图像,记为 其中,表示 中坐标位置为(x,y)的像素点的像素值;
②-5、根据{Lorg(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的3个方向子带的小波系数矩阵、{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经恢复后得到的小波系数矩阵,计算{Ldis(x,y)}实施3级小波变换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经干扰后得到的小波系数矩阵,将{Ldis(x,y)}实施第m级小波变换后得到的第n个方向子带的小波系数矩阵 经干扰后得到的小波系数矩阵记为其中, 表示 中坐标位置为(x,y)处的小波系数,
然后对{Ldis(x,y)}实施3级小波变
换后得到的每级小波变换对应的各个方向子带的小波系数矩阵各自经干扰后得到的小波系数矩阵实施反小波变换,得到{Ldis(x,y)}的干扰图像,记为 其中, 表示 中坐标位置为(x,y)的像素点的像素值;
②-6、按照步骤②-1至步骤②-5获取{Ldis(x,y)}的恢复图像 和{Ldis(x,y)}的干扰图像 的操作,以相同的方式获取{Rdis(x,y)}的恢复图像和{Rdis(x,y)}的干扰图像
3.根据权利要求1或2所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤③的具体过程为:③-1、采用log-Garbor滤波器对{Lorg(x,y)}中的每个像素点进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的偶对称频率响应记为eα,θ(x,y),将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和不同方向的奇对称频率响应记为oα,θ(x,y),其中,α表示log-Garbor滤波器的尺度因子,1≤α≤4,θ表示log-Garbor滤波器的方向因子,1≤θ≤4;
③-2、计算{Lorg(x,y)}中的每个像素点在不同方向的相位一致性特征,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PCθ(x,y),其中,③-3、根据{Lorg(x,y)}中的每个像素点的最大相位一致性特征对应的方向,计算{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征,对于{Lorg(x,y)}中坐标位置为(x,y)的像素点,首先找出其在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算{Lorg(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征,对应记为 和其中,表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的偶对称频率响应, 表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θm的奇对称频率响应,arctan()为取反正切函数;
③-4、按照步骤③-1至步骤③-3获取{Lorg(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作,以相同的方式获取{Rorg(x,y)}、 和 中的每个像素点的局部相位特征和局部振幅特征。
4.根据权利要求3所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤⑤中 的图像质量客观评价预测值 的获取过程为:⑤-1a、分别将{Lorg(x,y)}和 划分成 个互不重叠的尺寸大小为8×8的子块,将{Lorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将 中当前待处理的第k个的子块定义为当前第二子块,其中,⑤-2a、将当前第一子块记为 将当前第二子块记为 其中,
(x2,y2)表示 和 中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,表示 中坐标位置为(x2,y2)的像素点的像素值, 表示
中坐标位置为(x2,y2)的像素点的像素值;
⑤-3a、将 以向量形式表示为 对 实施奇异值分解,
其中, 为 的左奇异向量, 为 的右奇
异向量, 为 的奇异值向量, 的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列, 为 的转置向量;
将 以向量形式表示为 对 实施奇异值分解,
其中, 为 的左奇异向量, 为 的右奇异向量,
为 的奇异值向量, 的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列, 为 的转置向量;
⑤-4a、令k=k+1,将{Lorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2a继续执行,直至{Lorg(x,y)}和 中的所有子块均处理完毕,得到{Lorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号;
⑤-5a、根据{Lorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,计算 的图像质量客观评价预测值,记为其中,Nblock表示{Lorg(x,y)}中包含的子块的个数,也表示中包含的子块的个数, 符号“||”为取绝对值符号,“<>”为取内积
函数;
所述的步骤⑤中 的图像质量客观评价预测值 的获取过程为:
⑤-1b、分别将{Rorg(x,y)}和 划分成 个互不重叠的尺寸大小为8×8的子块,将{Rorg(x,y)}中当前待处理的第k个子块定义为当前第一子块,将 中当前待处理的第k个的子块定义为当前第二子块,其中,⑤-2b、将当前第一子块记为 将当前第二子块记为 其中,
(x2,y2)表示 和 中的像素点的坐标位置,1≤x2≤8,1≤y2≤8,表示 中坐标位置为(x2,y2)的像素点的像素值, 表示
中坐标位置为(x2,y2)的像素点的像素值;
⑤-3b、将 以向量形式表示为 对 实施奇异值分解,
其中, 为 的左奇异向量, 为 的右奇
异向量, 为 的奇异值向量, 的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列, 为 的转置向量;
将 以向量形式表示为 对 实施奇异值分解,
其中, 为 的左奇异向量, 为 的右奇异向量,
为 的奇异值向量, 的对角线上的元素为奇异值,且其值按照从大到小的顺序进行排列, 为 的转置向量;
⑤-4b、令k=k+1,将{Rorg(x,y)}中下一个待处理的子块作为当前第一子块,将中下一个待处理的子块作为当前第二子块,然后返回步骤⑤-2b继续执行,直至{Rorg(x,y)}和 中的所有子块均处理完毕,得到{Rorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,其中,k=k+1中的“=”为赋值符号;
⑤-5b、根据{Rorg(x,y)}中的每个子块的奇异值向量和 中的每个子块的奇异值向量,计算 的图像质量客观评价预测值,记为其中,N'block表示{Rorg(x,y)}中包含的子块的个数,也表示中包含的子块的个数, 符号“||”为取绝对值符号,“<>”为取内
积函数。
5.根据权利要求4所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤④中取T1=0.85,T2=160。
6.根据权利要求5所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤⑥中取w1=0.9208,w2=0.0792。
7.根据权利要求6所述的一种基于图像分解的立体图像质量客观评价方法,其特征在于所述的步骤⑦中取p=7.99,q=6.59,m=1.28、s=0.985和z=0.077。