1.一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sdis表示待评价的失真立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)};其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
步骤二:采用归一化方法对{Ldis(x,y)}进行归一化处理,得到{Ldis(x,y)}的归一化图像,记为 将 中坐标位置为(x,y)的像素点的像素值记为同样,采用归一化方法对{Rdis(x,y)}进行归一化处理,得到{Rdis(x,y)}的归一化图像,记为 将 中坐标位置为(x,y)的像素点的像素值
记为
步骤三:利用卷积神经网络提取出 的特征图,记为 同
样,利用卷积神经网络提取出 的特征图,记为 其中,卷积神
经网络包括依次设置的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层,第一卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第一最大池化层的步长为2,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第二最大池化层的步长为2,第三卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第三最大池化层的步长为2,1≤mconv3≤Mconv3,1≤nconv3≤Nconv3,Mconv3=W/23,Nconv3=H/23, 表示 中坐标位置为(mconv3,nconv3)的像素点的像素值, 表示 中坐标位置为(mconv3,nconv3)的
像素点的像素值;
步骤四:利用全卷积神经网络提取出 和 的联合
特征图,记为{Fdis,FullConv4(m,n)};其中,全卷积神经网络包括依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层,第一卷积层的卷积核的个数为64、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第三卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第四卷积层的卷积核的个数为1、卷积核的尺寸大小为3×3,第四卷积层使用的激活函数为ReLU,1≤m≤M,1≤n≤N,M=W/2,N=H/2,Fdis,FullConv4(m,n)表示{Fdis,FullConv4(m,n)}中坐标位置为(m,n)的像素点的像素值;
步骤五:将{Fdis,FullConv4(m,n)}展平为一维向量,作为Sdis的特征向量,记为Fdis;其中,Fdis的维数为1×(M×N),Fdis中的第i个元素为{Fdis,FullConv4(m,n)}中的第i个像素点的像素值,i为正整数,1≤i≤(M×N);
步骤六:选取n幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分,将训练集中的第j幅失真立体图像的主观评分记为DMOSj;再按照步骤一至步骤五的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Fdis,j;其中,n>1,j的初始值为1,j为正整数,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100,Fdis,j的维数为1×(M×N);
步骤七:利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,得到全局最优的深度神经网络模型;其中,深度神经网络包括依次设置的第一全连接层、第二全连接层、第三全连接层,第一全连接层的神经元节点的个数为128、使用的激活函数为ReLU,第二全连接层的神经元节点的个数为64、使用的激活函数为ReLU,第三全连接层的神经元节点的个数为1,第三全连接层作为输出层;
步骤八:利用全局最优的深度神经网络模型对Fdis进行预测,预测得到Sdis的客观质量评价预测值,记为Q, 其中,f()为函数表示形式,α2(Fdis)表示全局最优的深度神经网络模型中的第二全连接层的输出, α1(Fdis)表示
全局最优的深度神经网络模型中的第一全连接层的输出, 为ω3
的转置,ω3表示全局最优的深度神经网络模型中的第三全连接层的权重参数, 为ω2的转置,ω2表示全局最优的深度神经网络模型中的第二全连接层的权重参数, 为ω1的转置,ω1表示全局最优的深度神经网络模型中的第一全连接层的权重参数,b3表示全局最优的深度神经网络模型中的第三全连接层的偏置参数,b2表示全局最优的深度神经网络模型中的第二全连接层的偏置参数,b1表示全局最优的深度神经网络模型中的第一全连接层的偏置参数。
2.根据权利要求1所述的一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于所述的步骤三中, 的获取过程为:A1、将 作为输入,输入到第一卷积层中;然后第一卷积层的输出输入到第一
最大池化层中,将第一最大池化层的输出记为 其中,1≤mconv1≤Mconv1,
1≤nconv1≤Nconv1,Mconv1=W/2,Nconv1=H/2, 表示 中坐标位置为(mconv1,nconv1)的像素点的像素值;
A2、 输入到第二卷积层中;然后第二卷积层的输出输入到第二最大
池化层中,将第二最大池化层的输出记为 其中,1≤mconv2≤Mconv2,1≤nconv2≤Nconv2,Mconv2=Mconv1/2,Nconv2=Nconv1/2, 表示中坐标位置为(mconv2,nconv2)的像素点的像素值;
A3、 输入到第三卷积层中;然后第三卷积层的输出输入到第三最大
池化层中,第三最大池化层的输出即为 其中,1≤mconv3≤Mconv3,1≤nconv3≤Nconv3,Mconv3=Mconv2/2=W/23,Nconv3=Nconv2/2=H/23;
所述的步骤三中, 的获取过程为:
B1、将 作为输入,输入到第一卷积层中;然后第一卷积层的输出输入到第一
最大池化层中,将第一最大池化层的输出记为 其中,1≤mconv1≤Mconv1,
1≤nconv1≤Nconv1,Mconv1=W/2,Nconv1=H/2, 表示 中坐标位置为(mconv1,nconv1)的像素点的像素值;
B2、 输入到第二卷积层中;然后第二卷积层的输出输入到第二最大
池化层中,将第二最大池化层的输出记为 其中,1≤mconv2≤Mconv2,1≤nconv2≤Nconv2,Mconv2=Mconv1/2,Nconv2=Nconv1/2, 表示中坐标位置为(mconv2,nconv2)的像素点的像素值;
B3、 输入到第三卷积层中;然后第三卷积层的输出输入到第三最大
池化层中,第三最大池化层的输出即为 其中,1≤mconv3≤Mconv3,1≤nconv3≤Nconv3,Mconv3=Mconv2/2=W/23,Nconv3=Nconv2/2=H/23。
3.根据权利要求1或2所述的一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于所述的步骤四中,{Fdis,FullConv4(m,n)}的获取过程为:C1、将 和 作为输入,输入到第一卷积层中,将第
一卷积层的输出记为{Fdis,FullConv1(m,n)};其中,Fdis,FullConv1(m,n)表示{Fdis,FullConv1(m,n)}中坐标位置为(m,n)的像素点的像素值;
C2、{Fdis,FullConv1(m,n)}输入到第二卷积层中,将第二卷积层的输出记为{Fdis,FullConv2(m,n)};其中,Fdis,FullConv2(m,n)表示{Fdis,FullConv2(m,n)}中坐标位置为(m,n)的像素点的像素值;
C3、{Fdis,FullConv2(m,n)}输入到第三卷积层中,将第三卷积层的输出记为{Fdis,FullConv3(m,n)};其中,Fdis,FullConv3(m,n)表示{Fdis,FullConv3(m,n)}中坐标位置为(m,n)的像素点的像素值;
C4、{Fdis,FullConv3(m,n)}输入到第四卷积层中,第四卷积层的输出即为{Fdis,FullConv4(m,n)}。