1.一种融合颜色特征和残差网络深度特征的服装图像检索方法,其特征在于,所述融合颜色特征和残差网络深度特征的服装图像检索方法包括:步骤一,将训练数据集中的图片以224×224大小输入到ResNet50为基础的网络模型中,提取出通过网络层输出的深层特征;深层网络特征提取的方法包括以下步骤:
1)向深度卷积网络输入一个C×H×W的三维张量,C表示特征的通道数,初始值为3;H和W分别表示输入图片的高和宽的像素大小;
2)图片经过多层卷积操作,每一层卷积的输入为上一层的输出,计算方法为:式中, 表示第l层的第j个运算结果; 表示第n层第j个输出特征图所对应的多个输入特征图的索引集合;表示偏置项,其被所有输入特征图共享; 表示第l层一个i×j大小的卷积核;ReLU为激活函数,公式为:
3)残差网络采用了平均池化对邻域内特征点求平均值,池化操作公式为:
以Resnet50为主网络模型,ResNet50最后的卷积层输出若干个7X7的卷积结果,去掉其最后的两层全连接层,加入两个全连接层:FC1层和FC2层,分别输出512维和30维的特征向量;对网络模型进行微调,使用已有的ResNet50模型及参数来训练全连接层的参数,得到一个拟合服装图片数据集的网络模型,提取FC1层的512维的向量,作为深层网络特征;
步骤二,建立特征库;使用聚合方法融合深层特征和颜色特征信息作为图像的全局特征表示,存入特征库中;服装颜色特征提取的方法包括:
1)网络模型的最后一层卷积层中有2048个7x7卷积,对其进行平均池化后得出7x7的矩阵,直接提取信息较强位置最大的10个值,并记录其位置;
2)将原图的RGB值做平均池化,池化为7x7的矩阵,根据得到的10个值最大的位置,选出图片中相对应的10个RGB值得到3x10维的颜色特征,对矩阵进行标准化处理,z‑score标准化公式为:式中,x表示真实值,μ表示矩阵的平均值,σ表示标准差;
3)将矩阵转换为一个30维向量;将全连接层得到的FC1层的512维向量与30维颜色向量进行并行连接,得到一个542维的特征向量,作为最终的特征表示,保存在特征库中;
步骤三,使用K‑Means算法对特征库中的向量进行聚类,设置类簇数K=30,即服装数据集类别数维为30;
步骤四,将待检索的服装图片输入到与数据集相同的神经网络中,并使用步骤二所述聚合方法获取待查询服装图片的全局特征向量;
步骤五,依次计算聚类中心的向量与待检索图片向量间的距离,通过距离的比较来进行相似度的升序排序,得到与目标图片特征向量距离最近的N张图片返回结果,其中N=5,
10,20。
2.一种实施权利要求1所述融合颜色特征和残差网络深度特征的服装图像检索方法的融合颜色特征和残差网络深度特征的服装图像检索系统。
3.一种实现权利要求1所述融合颜色特征和残差网络深度特征的服装图像检索方法的信息数据处理终端。
4.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1所述的融合颜色特征和残差网络深度特征的服装图像检索方法。