1.一种基于深度学习的图像质量评价方法,其特征在于包括如下步骤:步骤1:提取结构性特征图;
步骤2:提取自然性特征图;
步骤3:提取自由能特征图;
步骤4:根据每张图对应的所有特征图设计神经网络框架。
2.根据权利要求1所述的一种基于深度学习的图像质量评价方法,其特征在于步骤1所述的提取结构性特征图,具体实现如下:
1-1.结构性特征就是图像的梯度,利用水平、竖直、45度、135度方向上的梯度来表示图像的结构性特征。
1-2.利用mask或差分算子进行计算:水平算子Dh、竖直算子Dv;角度算子D45和D135Dh=[-1,1]Dv=[-1,1]T
1-3.和图像做卷积:
其中:Gh、GV、G45、G135表示卷积后的特征图像。
3.根据权利要求2所述的一种基于深度学习的图像质量评价方法,其特征在于步骤2所述的提取自然性特征图,具体实现如下:
2-1.图像的归一化系数:
其中,I为输入图像,(x,y)表示位置信息,I′表示归一化系数图像,μ(x,y)表示邻域均值、σ(x,y)表示邻域方差
2-2.根据邻域大小,划分为5种不同大小邻域:5×5、7×7、11×11、13×13、15×15。针对图像I,每种领域大小都能够得到相应的归一化特征图像,分为用I′5、I′7、I′11、I′13、I′15表示。
4.根据权利要求3所述的一种基于深度学习的图像质量评价方法,其特征在于步骤3所述的提取自由能特征图,具体实现如下:
3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型,假设输入图像I,其稀疏表示为I″。利用公式:yn=Xk(y)a+en
yn为图像中待表示的像素点,Xk(y)表示与y最近邻的k的像素;a=(a1,a2,a3,…,ak)T表示系数,“T”表示转置操作,en表示误差。由公式:a*=(XTX)-1XTy
得:
yn=Xk(y)(XTX)-1XTyI″由新的yn组成;
3-2.计算差异特征图为I-I″。
5.根据权利要求4所述的一种基于深度学习的图像质量评价方法,其特征在于步骤4所述的根据每张图对应的所有特征图设计神经网络框架,具体实现如下:所述的每张图能够得到10张特征图,分别为:Gh、Gv、G45、G135、I′5、I′7、I′11、I′13、I′15、I-I″;其中4张结构性特征图,5张自然性特征图,1张自由能特征图;
所述的设计神经网络框架,具体实现如下:
4-1.以10张特征图作为输入,通道数为10。
4-2.通过一层卷积层,使通道数变为64。
4-3.通过121层densenet网络框架提取特征。
4-4.由一层线性回归层得到图像的质量分数;
4-5.损失函数:
Y表示线性回归层的输出,Y′表示图像的主观分数。