欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017100236713
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2023-07-09
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于单双目特征学习的无参考立体图像质量评价方法,其特征在于包括两个阶段,第一个阶段为构造每幅无失真立体图像的单目codebook和双目codebook;第二个阶段为先构造待评价的失真立体图像的左视点codebook、右视点codebook和双目codebook,然后根据所有原始的无失真立体图像的单目codebook和待评价的失真立体图像的左视点codebook、所有原始的无失真立体图像的单目codebook和待评价的失真立体图像的右视点codebook、所有原始的无失真立体图像的双目codebook和待评价的失真立体图像的双目codebook,并利用支持向量回归,获取待评价的失真立体图像的客观质量评价预测值;

其中,所述的第一个阶段的具体步骤如下:

①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像,将第k幅原始的无失真立体图像记为Sorg,k,将Sorg,k的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)},其中,K≥1,1≤k≤K,1≤x≤W,1≤y≤H,Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①_2、对每幅原始的无失真立体图像的左视点图像和右视点图像进行双目融合,得到每幅原始的无失真立体图像的双目融合图像,将Sorg,k的双目融合图像记为{LRorg,k(x,y)},其中,LRorg,k(x,y)表示{LRorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①_3、根据每幅原始的无失真立体图像的左视点图像或右视点图像,并先后采用分裂归一化操作和相成分分析,获得每幅原始的无失真立体图像的单目归一化特征图,将Sorg,k的单目归一化特征图记为{Morg,k(x,y)},其中,Morg,k(x,y)表示{Morg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

并根据每幅原始的无失真立体图像的双目融合图像,并先后采用分裂归一化操作和相成分分析,获得每幅原始的无失真立体图像的双目融合图像的双目归一化特征图,将{LRorg,k(x,y)}的双目归一化特征图记为{Borg,k(x,y)},其中,Borg,k(x,y)表示{Borg,k(x,y)}中坐标位置为(x,y)的像素点的像素值;

①_4、对每幅原始的无失真立体图像的单目归一化特征图进行聚类操作,得到每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图,将{Morg,k(x,y)}的聚类后单目特征图记为{Morg,k,c(x,y)},其中,Morg,k,c(x,y)表示{Morg,k,c(x,y)}中坐标位置为(x,y)的像素点的像素值;

并对每幅原始的无失真立体图像的双目融合图像的双目归一化特征图进行聚类操作,得到每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图,将{Borg,k(x,y)}的聚类后双目特征图记为{Borg,k,c(x,y)},其中,Borg,k,c(x,y)表示{Borg,k,c(x,y)}中坐标位置为(x,y)的像素点的像素值;

①_5、计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的均值,作为每幅原始的无失真立体图像的单目一阶特征值,将Sorg,k的单目一阶特征值记为μm,org,k;并计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的方差,作为每幅原始的无失真立体图像的单目二阶特征值,将Sorg,k的单目二阶特征值记为 计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的偏斜度,作为每幅原始的无失真立体图像的单目三阶特征值,将Sorg,k的单目三阶特征值记为γm,org,k;然后将每幅原始的无失真立体图像的单目一阶特征值、单目二阶特征值和单目三阶特征值的组合作为每幅原始的无失真立体图像的单目codebook,将Sorg,k的单目codebook记为同样,计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的均值,作为每幅原始的无失真立体图像的双目一阶特征值,将Sorg,k的双目一阶特征值记为μb,org,k;并计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的方差,作为每幅原始的无失真立体图像的双目二阶特征值,将Sorg,k的双目二阶特征值记为 计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的偏斜度,作为每幅原始的无失真立体图像的双目三阶特征值,将Sorg,k的双目三阶特征值记为γb,org,k;然后将每幅原始的无失真立体图像的双目一阶特征值、双目二阶特征值和双目三阶特征值的组合作为每幅原始的无失真立体图像的双目codebook,将Sorg,k的双目codebook记为所述的第二个阶段的具体步骤如下:

②_1、将宽度为W且高度为H的待评价的失真立体图像记为Sdis,将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②_2、对{Ldis(x,y)}和{Rdis(x,y)}进行双目融合,得到Sdis的双目融合图像,记为{LRdis(x,y)},其中,LRdis(x,y)表示{LRdis(x,y)}中坐标位置为(x,y)的像素点的像素值,其中,对{Ldis(x,y)}和{Rdis(x,y)}进行双目融合所采用的方法与步骤①_2中对每幅原始的无失真立体图像的左视点图像和右视点图像进行双目融合所采用的方法一致;

②_3、根据{Ldis(x,y)},并先后采用分裂归一化操作和相成分分析,获得Sdis的左视点归一化特征图,记为{ML,dis(x,y)},其中,ML,dis(x,y)表示{ML,dis(x,y)}中坐标位置为(x,y)的像素点的像素值;

并根据{Rdis(x,y)},并先后采用分裂归一化操作和相成分分析,获得Sdis的右视点归一化特征图,记为{MR,dis(x,y)},其中,MR,dis(x,y)表示{MR,dis(x,y)}中坐标位置为(x,y)的像素点的像素值;

根据{LRdis(x,y)},并先后采用分裂归一化操作和相成分分析,获得{LRdis(x,y)}的双目归一化特征图,记为{Bdis(x,y)},其中,Bdis(x,y)表示{Bdis(x,y)}中坐标位置为(x,y)的像素点的像素值;

②_4、计算{ML,dis(x,y)}中的所有像素点的像素值的均值,作为Sdis的左视点一阶特征值,记为μm,L,dis;并计算{ML,dis(x,y)}中的所有像素点的像素值的方差,作为Sdis的左视点二阶特征值,记为 计算{ML,dis(x,y)}中的所有像素点的像素值的偏斜度,作为Sdis的左视点三阶特征值,记为γm,L,dis;然后将μm,L,dis、 和γm,L,dis的组合作为Sdis的左视点codebook,记为同样,计算{MR,dis(x,y)}中的所有像素点的像素值的均值,作为Sdis的右视点一阶特征值,记为μm,R,dis;并计算{MR,dis(x,y)}中的所有像素点的像素值的方差,作为Sdis的右视点二阶特征值,记为 计算{MR,dis(x,y)}中的所有像素点的像素值的偏斜度,作为Sdis的右视点三阶特征值,记为γm,R,dis;然后将μm,R,dis、 和γm,R,dis的组合作为Sdis的右视点codebook,记为计算{Bdis(x,y)}中的所有像素点的像素值的均值,作为Sdis的双目一阶特征值,记为μb,dis;并计算{Bdis(x,y)}中的所有像素点的像素值的方差,作为Sdis的双目二阶特征值,记为 计算{Bdis(x,y)}中的所有像素点的像素值的偏斜度,作为Sdis的双目三阶特征值,记为γb,dis;然后将μb,dis、 和γb,dis的组合作为Sdis的双目codebook,记为②_5、根据所有原始的无失真立体图像的单目codebook,以及 获取Sdis的左视点一阶统计特征值、左视点二阶统计特征值和左视点三阶统计特征值,对应记为μm,org,L,dis、 和γm,org,L,dis,

并根据所有原始的无失真立体图像的单目codebook,以及 获取

Sdis的右视点一阶统计特征值、右视点二阶统计特征值和右视点三阶统计特征值,对应记为μm,org,R,dis、 和γm,org,R,dis,

根据所有原始的无失真立体图像的双目codebook,以及 获取Sdis的双

目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值,对应记为μb,org,dis、和γb,org,dis,

②_6、对μm,org,L,dis和μm,org,R,dis进行融合,得到Sdis的融合一阶统计特征值,记为μm,org,LR,dis;并对 和 进行融合,得到Sdis的融合二阶统计特征值,记为对γm,org,L,dis和γm,org,R,dis进行融合,得到Sdis的融合三阶统计特征值,记为γm,org,LR,dis;

②_7、采用n”幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真立体图像,将该失真立体图像集合作为训练集;然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分,将训练集中的第j幅失真立体图像的主观评分记为DMOSj;再按照步骤②_1至步骤②_6的操作,以相同的方式获取训练集中的每幅失真立体图像的融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值,将训练集中的第j幅失真立体图像的融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值对应记为μm,LR,j、 γm,LR,j、μb,j、 和γb,j;其中,n”>1,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100;

②_8、利用支持向量回归对训练集中的所有失真立体图像的主观评分及融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值进行训练,使得经过训练得到的回归函数值与主观评分之间opt opt opt opt的误差最小,拟合得到最优的权值矢量W 和最优的偏置项b ;接着利用W 和b 构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对μm,org,LR,dis、γm,org,LR,dis、μb,org,dis、 和γb,org,dis进行测试,预测得到Sdis的客观质量评价预测值,记为Q,Q=f(x), 其中,Q是x的函数,f()为函数表示形式,x为输入,x表示μm,org,LR,dis、 γm,org,LR,dis、μb,org,dis、 和γb,org,dis,(Wopt)T为Wopt的转置矢量, 为x的线性函数。

2.根据权利要求1所述的一种基于单双目特征学习的无参考立体图像质量评价方法,其特征在于所述的步骤①_2中采用对比度增益控制理论模型对每幅原始的无失真立体图像的左视点图像和右视点图像进行双目融合。

3.根据权利要求1或2所述的一种基于单双目特征学习的无参考立体图像质量评价方法,其特征在于所述的步骤①_4中采用K均值聚类方法对每幅原始的无失真立体图像的单目归一化特征图进行聚类操作,同样采用K均值聚类方法对每幅原始的无失真立体图像的双目融合图像的双目归一化特征图进行聚类操作。

4.根据权利要求3所述的一种基于单双目特征学习的无参考立体图像质量评价方法,其特征在于所述的步骤②_6中采用视觉权重模型对μm,org,L,dis和μm,org,R,dis进行融合,同样采用视觉权重模型对 和 进行融合,采用视觉权重模型对γm,org,L,dis和γm,org,R,dis进行融合。