1.一种基于卷积神经网络的艺术图像分类方法,包括如下步骤:(1)获取大量各类艺术图像,由专业人员对这些图像进行清洗和筛查,并人工为每张图像打上类别标签;
(2)对每张图像进行预处理,从而得到对应的图像数据样本;
(3)将所有样本分为训练集和验证集,搭建卷积神经网络并利用训练集样本对该卷积神经网络进行训练,得到用于艺术图像分类的网络模型;
所述卷积神经网络从输入到输出由输入层、空洞卷积层、深度卷积层、3个深度可分离卷积层DS1~DS3、双核压缩激活层DKSE1、2个深度可分离卷积层DS4~DS5、双核压缩激活层DKSE2、2个深度可分离卷积层DS6~DS7、双核压缩激活层DKSE3、2个深度可分离卷积层DS8~DS9、全局平均池化层P以及全连接层依次连接组成;
所述双核压缩激活层DKSE1~DKSE3均包含四个卷积层C1~C4、全局平均池化层P1以及特征重标定层;其中:双核压缩激活层DKSE1中的卷积层C1使用128个1×1×128大小的卷积核,卷积层C2使用128个5×5×128大小的卷积核,步长均为1,双核压缩激活层DKSE1的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理,进而对卷积层C1和C2处理后得到的特征图进行特征融合,全局平均池化层P1将融合后的特征图空间信息压缩到
128个通道描述符中并依次经由卷积层C3和C4进行处理,卷积层C3使用128/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作,卷积层C4使用128个1×1大小的卷积核和Sigmoid函数进行特征归一化处理,特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上,并将加权映射后的特征图进行特征融合后输出,r为特征图通道降维比例;
双核压缩激活层DKSE2中的卷积层C1使用256个1×1×256大小的卷积核,卷积层C2使用256个5×5×256大小的卷积核,步长均为1,双核压缩激活层DKSE2的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理,进而对卷积层C1和C2处理后得到的特征图进行特征融合,全局平均池化层P1将融合后的特征图空间信息压缩到256个通道描述符中并依次经由卷积层C3和C4进行处理,卷积层C3使用256/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作,卷积层C4使用256个1×1大小的卷积核和Sigmoid函数进行特征归一化处理,特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上,并将加权映射后的特征图进行特征融合后输出;
双核压缩激活层DKSE3中的卷积层C1使用512个1×1×512大小的卷积核,卷积层C2使用512个5×5×512大小的卷积核,步长均为1,双核压缩激活层DKSE3的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理,进而对卷积层C1和C2处理后得到的特征图进行特征融合,全局平均池化层P1将融合后的特征图空间信息压缩到512个通道描述符中并依次经由卷积层C3和C4进行处理,卷积层C3使用512/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作,卷积层C4使用512个1×1大小的卷积核和Sigmoid函数进行特征归一化处理,特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上,并将加权映射后的特征图进行特征融合后输出;
(4)将待分类的艺术图像经预处理后输入所述网络模型中,即可得到该艺术图像的分类结果。
2.根据权利要求1所述的艺术图像分类方法,其特征在于:所述步骤(1)中使用网络爬虫技术从艺术网站下载大量各类艺术图像,对于获取到的任一张图像,由专业人员裁剪掉图像中与艺术风格不相关的边框,并根据图像的艺术风格对其打上类别标签,在打标签的过程中对于不相关的类别图像进行筛除。
3.根据权利要求1所述的艺术图像分类方法,其特征在于:所述步骤(2)中对于低分辨率的图像,直接将其压缩至m×m大小,进而基于RGB三通道像素值得到m×m×3大小的图像数据样本;对于高分辨率的图像,以m个像素点为步长将整个图像划分成多个m×m大小的图块;对于每一图块,基于RGB三通道像素值得到其对应m×m×3大小的图像数据样本,m为大于48的自然数。
4.根据权利要求1所述的艺术图像分类方法,其特征在于:所述输入层为m×m×3大小的图像数据样本;所述空洞卷积层使用32个3×3×3大小的卷积核,步长为1,膨胀率为2;所述深度卷积层使用32个3×3大小的卷积核,步长为3;所述全局平均池化层P将深度可分离卷积层DS9输出特征图的空间信息压缩到1024个通道描述符中;所述全连接层使用n个节点作为输出,采用的激活函数为Softmax,n为艺术图像类别数。
5.根据权利要求1所述的艺术图像分类方法,其特征在于:所述深度可分离卷积层DS1~DS9均包含深度卷积和逐点卷积两个子层;其中:深度可分离卷积层DS1的深度卷积子层使用32个3×3大小的卷积核,逐点卷积子层使用64个1×1×32大小的卷积核,步长均为1;
深度可分离卷积层DS2的深度卷积子层使用64个3×3大小的卷积核,步长为2,逐点卷积子层使用128个1×1×64大小的卷积核,步长为1;深度可分离卷积层DS3的深度卷积子层使用
128个3×3大小的卷积核,逐点卷积子层使用128个1×1×128大小的卷积核,步长均为1;深度可分离卷积层DS4的深度卷积子层使用128个3×3大小的卷积核,步长为2,逐点卷积子层使用256个1×1×128大小的卷积核,步长为1;深度可分离卷积层DS5的深度卷积子层使用
256个3×3大小的卷积核,逐点卷积子层使用256个1×1×256大小的卷积核,步长均为1;深度可分离卷积层DS6的深度卷积子层使用256个3×3大小的卷积核,步长为2,逐点卷积子层使用512个1×1×256大小的卷积核,步长为1;深度可分离卷积层DS7的深度卷积子层使用
512个3×3大小的卷积核,逐点卷积子层使用512个1×1×512大小的卷积核,步长均为1;深度可分离卷积层DS8的深度卷积子层使用512个3×3大小的卷积核,步长为2,逐点卷积子层使用1024个1×1×512大小的卷积核,步长为1;深度可分离卷积层DS9的深度卷积子层使用
1024个3×3大小的卷积核,逐点卷积子层使用1024个1×1×1024大小的卷积核,步长均为
1。
6.根据权利要求5所述的艺术图像分类方法,其特征在于:所述空洞卷积层、深度卷积层、深度卷积子层、逐点卷积子层的输出均依次经批标准化和ReLu函数处理。
7.根据权利要求1所述的艺术图像分类方法,其特征在于:所述步骤(3)中对卷积神经网络进行训练过程中采用交叉熵损失函数和Adam优化器通过正向传播和反向传播的方式按批次对网络进行训练。
8.根据权利要求1所述的艺术图像分类方法,其特征在于:所述步骤(3)中当卷积神经网络训练完成后,利用验证集样本对其进行验证以及参数微调,从而最终确立用于艺术图像分类的网络模型。