欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2015101732321
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种立体图像视觉舒适度客观评价方法,其特征在于包括以下步骤:

①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示待评价的立体图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示待评价的立体图像的宽度,H表示待评价的立体图像的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;

②利用基于图论的视觉显著模型提取出{IR(x,y)}的显著图,记为{SMR(x,y)};然后根据{SMR(x,y)}和{dR(x,y)},获取{IR(x,y)}的视觉显著图,记为{Sstereo(x,y)},将{Sstereo(x,y)}中 坐 标 位 置 为(x,y) 的 像 素 点 的 像 素 值 记 为 Sstereo(x,y),其中,SMR(x,y)表示{SMR(x,y)}中坐标位置为(x,y)的像素点的像素值, 表示SMR(x,y)的权重, 表示dR(x,y)的权重,③根据{Sstereo(x,y)}和{dR(x,y)},获取{dR(x,y)}中的所有像素点的显著加权视差幅值f1、显著加权视差对比度f2、显著加权视差散度f3、显著加权视差偏度f4、平均最大视差f5和平均最小视差f6,然后将f1、f2、f3、f4、f5和f6按顺序进行排列得到{dR(x,y)}的初级视觉特征矢量,记为Fp,Fp=[f1,f2,f3,f4,f5,f6],其中,Fp的维数为6,符号“[ ]”为矢量表示符号;

④利用视差转换算法计算{dR(x,y)}的角视差图像;然后利用不同神经元的视差调制函数对{dR(x,y)}的角视差图像进行调制操作,得到{dR(x,y)}的角视差图像中的不同神经元在不同视差区间的响应;再根据{dR(x,y)}的角视差图像中的不同神经元在不同视差区间的响应,获取{dR(x,y)}的高级视觉特征矢量,记为Fa,Fa=[r1,r2,…,r13], 其中,Fa的维数为13,符号“[ ]”为矢量表示符号,1≤i≤13,符号“| |”为取绝对值符号,表示{dR(x,y)}的角视差图像中的第i个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量;

⑤将Fp和Fa组合成一个新的特征矢量,记为X,X=[Fp,Fa],然后将X作为待评价的立体图像的特征矢量,其中,符号“[ ]”为矢量表示符号,X=[Fp,Fa]表示将Fp和Fa连接起来形成一个新的特征矢量;

⑥将M副各不相同的立体图像构成一个立体图像集合;然后利用主观质量评价方法获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,将立体图像集合中的第m副立体图像的视觉舒适度的平均主观评分均值记为MOSm;再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作,以相同的方式获取立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第m副立体图像的特征矢量记为Xm;其中,M表示立体图像集合中包含的立体图像的幅数,M≥1,1≤m≤M,MOSm∈[1,5];

⑦将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成测试样本数据集合;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权opt opt opt opt重矢量w 和最优的偏置项b ;接着利用w 和b 构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第q个特征矢量对应的立体图像的客观视觉舒适度评价预测值记为Qq,其中,1≤q≤M-S,S表示训练集中包含的立体图opt T

像的幅数,f( )为函数表示形式,Xq表示测试样本数据集合中的第q个特征矢量,(w )为optw 的转置矩阵, 表示测试样本数据集合中的第q个特征矢量的线性函数;之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每个特征矢量对应的立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像集合中的每幅立体图像的多个客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N>100。

2.根据权利要求1所述的一种立体图像视觉舒适度客观评价方法,其特征在于所述的步骤③的具体过程为:③-1、根据{Sstereo(x,y)}和{dR(x,y)},计算{dR(x,y)}中的所有像素点的显著加权视差幅值,记为f1, 其中,符号“| |”为取绝对值符号,dmax为{dR(x,y)}的最大视差幅值;

③-2、利用高斯差分滤波器对{dR(x,y)}实施 滤波操作,得到{dR(x,y)}的视差对比度图,记为{dC(x,y)},将 {dC(x,y)}中 坐标 位置为 (x,y)的像 素点的像素值记为 dC(x,y), 其 中,σ表示高斯差分滤波器的尺度,

k'表示高斯差分滤波器的滤波中心与环绕区域的比例,exp( )表示以自然基数e为底的指数函数,符号 为卷积操作符号;

③-3、根据{Sstereo(x,y)}和{dC(x,y)},计算{dR(x,y)}中的所有像素点的显著加权视差对比度,记为f2, 其中,符号“| |”为取绝对值符号;

③-4、根据{Sstereo(x,y)}和{dR(x,y)},计算{dR(x,y)}中的所有像素点的显著加权视差散度,记为f3,③-5、根据{Sstereo(x,y)}和{dR(x,y)},计算{dR(x,y)}中的所有像素点的显著加权视差偏度,记为f4, 其中,符号“| |”为取绝对值符号;

③-6、计 算{dR(x,y)}中的所有像素点的平均最大视差,记为f5,

其中, 表示将{dR(x,y)}中的所有像素点各自的像素值

按从大到小的顺序排列后、前10%的像素值对应的所有像素点的坐标位置构成的集合,③-7、计 算{dR(x,y)}中的所有像素点的平均最小视差,记为f6,其中, 表示将{dR(x,y)}中的所有像素点各自的像素值

按从小到大的顺序排列后、前10%的像素值对应的所有像素点的坐标位置构成的集合,③-8、将f1、f2、f3、f4、f5和f6按顺序进行排列得到{dR(x,y)}的初级视觉特征矢量,记为Fp,Fp=[f1,f2,f3,f4,f5,f6],其中,Fp的维数为6,符号“[ ]”为矢量表示符号。

3.根据权利要求1或2所述的一种立体图像视觉舒适度客观评价方法,其特征在于所述的步骤④的具体过程为:④-1、利用视差转换算法计算{dR(x,y)}的角视差图像,记为{φR(x,y)};然后计算{φR(x,y)}的视差直方图,记为 其中,φR(x,y)表示{φR(x,y)}中坐标位置为(x,y)的像素点的像素值, 表示{φR(x,y)}中像素值属于第k个视差区间的所有像素点的个数,L表示 中的视差区间的总数;

④-2、利用13个不同神经元的视差调制函数对{φR(x,y)}进行调制操作,得到{φR(x,y)}中的不同神经元在不同视差区间的响应,将{φR(x,y)}中的第i个神经元在第k个视差区间的响应记为Ri,k, 其中,

1≤i≤13,1≤k≤L,p(k|φR(x,y))表示φR(x,y)属于第k个视差区间的概率,如果φR(x,y)属于第k个视差区间,则p(k|φR(x,y))=1,如果φR(x,y)不属于第k个视差区间,则p(k|φR(x,y))=0,gi(φR(x,y))表示第i个神经元的视差调制函数,Ai表示第i个神经元的视差调制函数的振幅,Ai∈{44,67,73,42,110,124,51,77,46,121,49,31,92}, 表示第i个神经元的视差调制函数的中心,δi表示第

i个神经元的视差调制函数的高斯核宽度,δi∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,

0.67,0.57,0.52,1.01,2.10,0.56},fi表示第i个神经元的视差调制函数的频率,fi∈{0.1

9,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33},Φi表示第i个神经元的视差调制函数的相位,Φi∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-16

2},cos()表示求余弦函数;

④-3、将{φR(x,y)}中的每个神经元在所有视差区间的响应构成一个向量,将{φR(x,y)}中的第i个神经元在所有视差区间的响应构成的向量记为xi,xi=[Ri,1,Ri,2,…,Ri,L];然后获取{φR(x,y)}中的每个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量,将xi经最大池化后得到的特征矢量记为其中,Ri,1、Ri,2和Ri,L对应表示{φR(x,y)}中的第i个神经元在第1个视差区间的响应、在第2个视差区间的响应、在第L个视差区间的响应, 和 对应表示 中的第1个元素的值、第2个元素的值和第L个元素的值,符号“[ ]”为矢量表示符号;

④-4、计算{dR(x,y)}的高级视觉特征矢量,记为Fa,Fa=[r1,r2,…,r13],其中,Fa的维数为13,符号“[ ]”为矢量表示符号,1≤i≤13,符号“| |”为取绝对值符号, 表示 中的第k个元素的值。

4.根据权利要求3所述的一种立体图像视觉舒适度客观评价方法,其特

征在于所述的步骤④-3中 的获取过程为:利用最大池化方法重新计算xi中

的每个元素的值,将Ri,k经最大池化方法重新计算后得到的值记为

然后将xi中的所有元素各自的值经最大池化

方法重新计算后得到的值按顺序排列构成一个特征矢量,记为

其中,max( )为取最大值函数, 和 对应表示 中的第1个元素的值、第2个元素的值和第L个元素的值。

5.根据权利要求4所述的一种立体图像视觉舒适度客观评价方法,其特征在于所述的步骤⑦的具体过程为:⑦-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图

像集合中剩余的M-S幅立体图像构成测试集,其中,符号 为向下取整符号;

⑦-2、将训练集中的所有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成训练样本数据集合,记为ΩS,{Xt,MOSt}∈ΩS,其中,Xt表示训练样本数据集合ΩS中的第t个特征矢量,MOSt表示训练样本数据集合ΩS中的第t个视觉舒适度的平均主观评分均值,

1≤t≤S;

⑦-3、构造训练样本数据集合ΩS中的每个特征矢量的回归函数,将Xt的回归函数记为Tf(Xt), 其中,f( )为函数表示形式,w为权重矢量,w为w的转置矩阵,b为偏置项, 表示Xt的线性函数, 为支持向量回归中

的核函数, Xl为训练样本数据集合ΩS中的第l个特征矢量,

1≤l≤S,γ为核参数,exp( )表示以自然基数e为底的指数函数,符号“|| ||”为求欧式距离符号;

⑦-4、采用支持向量回归作为机器学习的方法,对训练样本数据集合ΩS中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差opt opt opt最小,拟合得到最优的权重矢量w 和最优的偏置项b ,将最优的权重矢量w 和最opt优的偏置项b 的组合记为 然后

opt opt

利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型,记为其中,Ψ表示对训练样本数据集合ΩS中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表示取使得

opt

最小的w和b的值,Xinp表示支持向量回归训练模型的输入矢量,(w )

T为wopt的转置矩阵, 表示支持向量回归训练模型的输入矢量Xinp的线性函数;

⑦-5、将测试集中的所有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第q个特征矢量对应的立体图像的客观视觉舒适度评价预测值记为Qq, 其中,1≤q≤M-S,f( )为函数表示形式,Xq表示测试样本数据集合中的第q个特征矢量, 表示测试样本数据集合中的第q个特征矢量的线性函数;

⑦-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将

立体图像集合中剩余的M-S幅立体图像构成测试集,然后返回步骤⑦-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的多个客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N>100。