欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2015108356343
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于字典学习和机器学习的无参考立体图像质量评价方法,其特征在于包括训

练阶段和测试阶段两个过程,所述的训练阶段的具体步骤为:

①-1、选取K幅原始的无失真立体图像,将第k幅原始的无失真立体图像的左视点图像

和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)},其中,K≥1,1≤k≤K,1≤x≤W,1≤y≤H,在此W表示原始的无失真立体图像的宽度,在此H表示原始的无失真立体图像的高度,Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波,得到每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像,将{Lorg,k(x,y)}的幅值图像和相位图像对应记为{GL_org,k(x,y)}和{PL_org,k(x,y)},其中,GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,PL_org,k(x,y)表示{PL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

同样,对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波,得到每幅原始的无失真立体图像的右视点图像的幅值图像和相位图像,将{Rorg,k(x,y)}的幅值图像和相位图像对应记为{GR_org,k(x,y)}和{PR_org,k(x,y)},其中,GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,PR_org,k(x,y)表示{PR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①-3、采用块匹配方法计算每幅原始的无失真立体图像的左视点图像与右视点图像之

间的视差图像,将{Lorg,k(x,y)}与{Rorg,k(x,y)}之间的视差图像记为{dorg,k(x,y)},其中,dorg,k(x,y)表示{dorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①-4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点

图像的幅值图像和相位图像、左视点图像与右视点图像之间的视差图像,计算每幅原始的无失真立体图像的左右视点特征融合图像,将第k幅原始的无失真立体图像的左右视点特征融合图像记为{Forg,k(x,y)},其中,Forg,k(x,y)表示{Forg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①-5、采用局部二值化模式操作对每幅原始的无失真立体图像的左视点图像的幅值图

像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像进行处理,得到各自的局部二值化模式特征图像,将{GL_org,k(x,y)}的局部二值化模式特征图像记为{LMPL_org,k(x,y)},将{PL_org,k(x,y)}的局部二值化模式特征图像记为{LPPL_org,k(x,y)},将{GR_org,k(x,y)}的局部二值化模式特征图像记为{LMPR_org,k(x,y)},将{PR_org,k(x,y)}的局部二值化模式特征图像记为{LPPR_org,k(x,y)},将{Forg,k(x,y)}的局部二值化模式特征图像记为{LEPL_R_org,k(x,y)},其中,LMPL_org,k(x,y)表示{LMPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LMPL_org,k(x,y)∈[0,P+1],LPPL_org.k(x,y)表示{LPPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LPPL_org,k(x,y)∈[0,P+1],LMPR_org,k(x,y)表示{LMPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LMPR_org,k(x,y)∈[0,P+1],LPPR_org,k(x,y)表示{LPPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LPPR_org,k(x,y)∈[0,P+1],LEPL_R_org,k(x,y)表示{LEPL_R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值,LEPL_R_org,k(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数;

①-6、采用直方图统计方法对每幅原始的无失真立体图像的左视点图像的幅值图像和

相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像各自的局部二值化模式特征图像进行统计操作,得到各自的直方图统计特征向量,将{GL_org,k(x,y)}的直方图统计特征向量记为HL_M_org,k,将{PL_org,k(x,y)}的直方图统计特征向量记为HL_P_org,k,将{GR_org,k(x,y)}的直方图统计特征向量记为HR_M_org,k,将{PR_org,k(x,y)}的直方图统计特征向量记为HR_P_org,k,将{Forg,k(x,y)}的直方图统计特征向量记为HL_R_E_org,k;

然后采用双目竞争算法,对每幅原始的无失真立体图像的左视点图像的幅值图像的直

方图统计特征向量和右视点图像的幅值图像的直方图统计特征向量进行融合,得到每幅原始的无失真立体图像的双目竞争幅值特性统计向量,将对HL_M_org,k和HR_M_org,k进行融合后得到的第k幅原始的无失真立体图像的双目竞争幅值特性统计向量记为HL_R_M_org,k;同样,采用双目竞争算法,对每幅原始的无失真立体图像的左视点图像的相位图像的直方图统计特征向量和右视点图像的相位图像的直方图统计特征向量进行融合,得到每幅原始的无失真立体图像的双目竞争相位特性统计向量,将对HL_P_org,k和HR_P_org,k进行融合后得到的第k幅原始的无失真立体图像的双目竞争相位特性统计向量记为HL_R_P_org,k;

其中,HL_M_org,k、HL_P_org,k、HR_M_org,k、HR_P_org,k、HL_R_E_org,k的维数均为m'×1维,HL_M_org,k中的第m个元素为HL_M_org,k(m),HL_P_org,k中的第m个元素为HL_P_org,k(m),HR_M_org,k中的第m个元素为HR_M_org,k(m),HR_P_org,k中的第m个元素为HR_P_org,k(m),HL_R_E_org,k中的第m个元素为HL_R_E_org,k(m),1≤m≤m',m'=P+2,HL_R_M_org,k和HL_R_P_org,k的维数均为m'×1维,HL_R_M_org,k中的第m个元素为HL_R_M_org,k(m),HL_R_P_org,k中的第m个元素为HL_R_P_org,k(m);

①-7、将所有原始的无失真立体图像的双目竞争幅值特性统计向量、双目竞争相位特

性统计向量、左右视点特征融合图像的直方图统计特征向量组成字典学习特征矩阵,记为Horg,其中,Horg的维数为3m'×K,Horg中第k列的3m'个元素依次为HL_R_M_org,k中的m'个元素、HL_R_P_org,k中的m'个元素、HL_R_E_org,k中的m'个元素;

所述的测试阶段的具体步骤为:

②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大小

一致的失真立体图像,将该失真立体图像作为待评价的失真立体图像,并记为Sdis,将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,在此W表示Sdis的宽度,在此H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②-2、对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别实施log-Gabor滤波,得到{Ldis(x,y)}和{Rdis(x,y)}各自的幅值图像和相位图像,将{Ldis(x,y)}的幅值图像和相位图像对应记为{GL_dis(x,y)}和{PL_dis(x,y)},将{Rdis(x,y)}的幅值图像和相位图像对应记为{GR_dis(x,y)}和{PR_dis(x,y)},其中,GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,PL_dis(x,y)表示{PL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,PR_dis(x,y)表示{PR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②-3、采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像,记为{ddis(x,y)},其中,ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②-4、根据{GL_dis(x,y)}和{PL_dis(x,y)}、{GR_dis(x,y)}和{PR_dis(x,y)}、{ddis(x,y)},计算Sdis的左右视点特征融合图像,记为{Fdis(x,y)},其中,Fdis(x,y)表示{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②-5、采用局部二值化模式操作对{GL_dis(x,y)}和{PL_dis(x,y)}、{GR_dis(x,y)}和{PR_dis(x,y)}、{Fdis(x,y)}进行处理,得到{GL_dis(x,y)}和{PL_dis(x,y)}、{GR_dis(x,y)}和{PR_dis(x,y)}、{Fdis(x,y)}各自的局部二值化模式特征图像,对应记为{LMPL_dis(x,y)}、{LPPL_dis(x,y)}、{LMPR_dis(x,y)}、{LPPR_dis(x,y)}、{LEPL_R_dis(x,y)},其中,LMPL_dis(x,y)表示{LMPL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LMPL_dis(x,y)∈[0,P+1],LPPL_dis(x,y)表示{LPPL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LPPL_dis(x,y)∈[0,P+1],LMPR_dis(x,y)表示{LMPR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LMPR_dis(x,y)∈[0,P+

1],LPPR_dis(x,y)表示{LPPR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LPPR_dis(x,y)∈[0,P+1],LEPL_R_dis(x,y)表示{LEPL_R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值,LEPL_R_dis(x,y)∈[0,P+1],P表示局部二值化模式操作中的领域参数;

②-6、采用直方图统计方法分别对{LMPL_dis(x,y)}、{LPPL_dis(x,y)}、{LMPR_dis(x,y)}、{LPPR_dis(x,y)}、{LEPL_R_dis(x,y)}进行统计操作,得到{GL_dis(x,y)}、{PL_dis(x,y)}、{GR_dis(x,y)}、{PR_dis(x,y)}、{Fdis(x,y)}各自的直方图统计特征向量,对应记为HL_M_dis、HL_P_dis、HR_M_dis、HR_P_dis、HL_R_E_dis;

然后采用双目竞争算法,对HL_M_dis和HR_M_dis进行融合,得到Sdis的双目竞争幅值特性统计向量,记为HL_R_M_dis;同样,采用双目竞争算法,对HL_P_dis和HR_P_dis进行融合,得到Sdis的双目竞争相位特性统计向量,记为HL_R_P_dis;

其中,HL_M_dis、HL_P_dis、HR_M_dis、HR_P_dis、HL_R_E_dis的维数均为m'×1维,HL_M_dis中的第m个元素为HL_M_dis(m),HL_P_dis中的第m个元素为HL_P_dis(m),HR_M_dis中的第m个元素为HR_M_dis(m),HR_P_dis中的第m个元素为HR_P_dis(m),HL_R_E_dis中的第m个元素为HL_R_E_dis(m),1≤m≤m',m'=P+2,HL_R_M_dis和HL_R_P_dis的维数均为m'×1维,HL_R_M_dis中的第m个元素为HL_R_M_dis(m),HL_R_P_dis中的第m个元素为HL_R_P_dis(m);

②-7、将HL_R_M_dis、HL_R_P_dis、HL_R_E_dis组成Sdis的特征向量,记为Hdis,其中,Hdis的维数为

3m'×1;

②-8、根据Horg和Hdis,利用协作表示算法,获取Sdis的双目视觉感知稀疏特征向量,记为X,X=((Horg)THorg+λ×I)-1(Horg)THdis,其中,X的维数为K×1,(Horg)T为Horg的转置矩阵,λ为常数,I为K×K维的单位矩阵;

②-9、采用n”幅宽度为W且高度为H的原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值,将训练集中的第j幅失真立体图像的平均主观评分值记为DMOSj;再按照步骤②-1至步骤②-8的操作,以相同的方式获取训练集中的每幅失真立体图像的双目视觉感知稀疏特征向量,将训练集中的第j幅失真立体图像的双目视觉感知稀疏特征向量记为Xj;其中,n”>1,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100,Xj的维数为K×1;

②-10、计算Sdis的双目视觉感知稀疏特征向量X与训练集中的每幅失真立体图像的双

目视觉感知稀疏特征向量之间的距离,将Sdis的双目视觉感知稀疏特征向量X与训练集中的第j幅失真立体图像的双目视觉感知稀疏特征向量Xj之间的距离记为Ddis,j,Ddis,j=|X-Xj|,并将这N'个距离构成的集合记为{Ddis,j|1≤j≤N'},其中,符号“| |”为取绝对值符号;然后对{Ddis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列,将排列后的集合记为{D'dis,j|1≤j≤N'};接着获取{D'dis,j|1≤j≤N'}中的前K'个距离各自对应的训练集中的失真立体图像的平均主观评分值,并将这K'个平均主观评分值构成的集合记为{DMOS'1,DMOS'2,…,DMOS'K'},其中,1≤K'≤N',DMOS'1,DMOS'2,…,DMOS'K'对应表示{D'dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K'个距离对应的训练集中的失真立体图像的平均主观评分值;

②-11、计算Sdis的客观质量评价预测值,记为Qdis, 其

中,D'dis,k'表示{D'dis,j|1≤j≤N'}中的第k'个距离,DMOS'k'表示D'dis,k'对应的训练集中的失真立体图像的平均主观评分值。

2.根 据 权 利 要 求 1 所 述 的 基 于 字 典 学 习 和 机 器 学 习 的 无 参 考立 体 图 像 质 量 评 价 方 法 ,其 特 征 在 于 所 述 的 步 骤 ① - 4 中,其

中,GR_org,k(x+dorg,k(x,y),y)表示{GR_org,k(x,y)}中坐标位置为(x+dorg,k(x,y),y)的像素点的像素值, PR_org,k(x+dorg,k(x,y),y)表示{PR_org,k(x,y)}中坐标位置为(x+dorg,k(x,y),y)的像素点的像素值,cos( )为取余弦函数。

3.根据 权利 要求1 或2 所述的 基 于字典 学 习和机 器学 习的无 参考

立 体 图 像 质 量 评 价 方 法 ,其 特 征 在 于 所 述 的 步 骤 ② - 4 中

,其

中,GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值, PR_dis(x+ddis(x,y),y)表示{PR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值,cos()为取余弦函数。

4.根据权利要求3所述的基于字典学习和机器学习的无参考立体图像质量评价方法,

其特征在于所述的步骤①-5和所述的步骤②-5中的局部二值化模式操作中的领域参数P取值为8,且局部半径参数R取值为1。