欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022101471196
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,包括如下步骤:S1、创建图像数据集以及所述图像数据集中的图像所对应的图像标签,所述图像数据集包括图像训练集和图像测试集;

S2、将所述图像标签和所述图像训练集中的图像分别输入至多个不同类型的个体学习器中以训练多个所述个体学习器,得到每个所述个体学习器的精度以及图像训练集中的图像对应的训练集二进制哈希编码;

S3、将图像测试集中的图像及对应的图像标签输入至多个所述个体学习器中,得到对应的测试集二进制哈希编码,将所述测试集二进制哈希编码与所述训练集二进制哈希编码进行比较得到对应的汉明距离,并将多个所述个体学习器的精度分别与所述图像测试集中的图像在每个所述个体学习器对应的汉明距离的归一化值对应相乘所得到的值作为权重来求得测试集图像的得分;

S3.1、将通过每个个体学习器后得到的所述测试集二进制哈希编码分别与对应的个体学习器得到的所述训练集哈希编码进行检索比较,形成所述图像测试集中的图像对应的汉明矩阵列表;

S3.2、将多个所述个体学习器的精度分别与所述图像测试集中的图像在每个所述个体学习器对应的汉明距离的归一化值对应相乘所得到的值作为权重来求得测试集图像的得分的公式为:其中,hi表示汉明距离矩阵列表中第i张图像与查询图像的汉明距离,H表示全部的汉明距离矩阵,ACCk表示个体学习器的验证精度,N表示图像训练集中的图像样本总数;

S3.3、综合所述测试集图像中的图像在步骤3.2对应的得分以得到所述测试集图像中的图像的总得分;

S4、通过求得所述测试集图像中的图像的总得分对所述总得分进行降序排序以调整检索到的图像的位置,降序方式如下:Si=desc(Scorei);

其中,Scorei代表每张图像的得分,i表示图像的序号。

2.根据权利要求1所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤2中,将所述图像标签和所述图像训练集中的图像输入至个体学习器中以训练所述个体学习器的具体实施步骤包括:S2.1、对所述图像标签和图像训练集中的图像进行预处理;

S2.2、将预处理后的所述图像标签和图像训练集中的图像输入至卷积神经网络模型的特征提取模块以提取图像的高级特征向量;

S2.3、将所述高级特征向量输入至所述卷积神经网络模型的哈希隐层,将所述高级特征向量转化为近似哈希编码;

S2.4、将所述近似哈希编码进行哈希约束,使所述近似哈希编码量化为图像训练集中的图像所对应的训练集二进制哈希编码。

3.根据权利要求2所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤S2.1中,对所述图像标签进行预处理的具体方法为:将所述图像标签进行独热编码,根据标签类别的数量使用N位0和1的离散状态码对所述图像标签的分类特征进行编码。

4.根据权利要求2所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤S2.1中,对所述图像训练集中的图像进行预处理的具体方法为:对所述图像进行数据增强,所述数据增强的方式包括将所述图像进行翻转、将所述图像进行旋转、调整所述图像的长宽比、调整所述图像的尺寸、对HSV空间色彩进行调整以及添加随机PCA噪声。

5.根据权利要求2所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤2.3中,所述高级特征向量通过所述哈希隐层得到近似哈希编码Hash(out),所述哈希隐层设置在全连接层fc7之后,所述哈希隐层的哈希函数为:T

h(x:w)=sigmoid(w[fc6(x);fc7(x)]

其中,w表示哈希隐层的权重矩阵,fc6(x)和fc7(x)表示特征提取模块中的全连接层fc6(x)和fc7(x)输出的高级特征向量,sigmoid为激活函数。

6.根据权利要求2所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤S2.3中,将所述高级特征向量输入至所述卷积神经网络模型的哈希隐层时,需要设计总损失函数,利用反向传播方法对所述卷积神经网络模型进行优化训练以提高损失个体学习器的精度。

7.根据权利要求6所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,所述总损失函数包括第一哈希损失函数、第二哈希损失函数以及分类损失函数;

所述第一哈希损失函数为:

其中,MaxValue为0.25,MidValue为0.5,Bi为哈希隐层的输出特征向量;

所述第二哈希损失函数为:

其中, 即Bi,为哈希隐层的输出特征向量,K是哈希函数得到的哈希编码的位数,AvgValue为0.5;

所述分类损失函数为:

其中,i表示第i个样本,N表示图像训练集中的图像样本总数,M代表类别的数量,yic是一个符号函数,若i的真实类别为c则取1,否则为0,pic表示样本i属于类别c的预测概率;

所述总损失函数为:

其中α、β、γ均为超参数,分别设置为1,0.5,0.5。

8.根据权利要求2所述的一种基于深度哈希的多模型融合的集成图像检索方法,其特征在于,步骤S2.4中,将所述近似哈希编码进行哈希约束,使所述近似哈希编码量化为图像训练集中的图像所对应的二进制哈希编码,具体为通过阈值函数对所述近似哈希编码Bi进行哈希约束:其中,Bi为哈希隐层的输出特征向量,即近似哈希编码。