欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108233661
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,步骤如下:

获取跨模态检索数据集,并将它们划分为训练集、测试集和数据库集,其中每个样本都包括成对的图像和文本两个模态的数据;

构建深度哈希网络模型并进行网络参数初始化,将两个模态的原始数据分别输入到所构建的深度哈希网络中,分别得到两个模态的哈希函数;

利用各模态的哈希函数获取测试集和数据库集中样本的哈希码,计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离,数据库集样本按其对应的汉明距离升序排序,得到检索结果。

2.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,将两个模态的原始数据分别输入到所构建的深度哈希网络中,获取两个模态的深度特征矩阵,所述深度特征矩阵沿着网络继续传输,得到深度哈希网络的输出值。

3.如权利要求2所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,根据训练集的深度特征矩阵、图像虚拟标签和深度哈希网络的输出值,分别构建深度特征的协同矩阵分解、虚拟标签的学习与回归以及哈希函数学习的损失函数,整合上述损失函数得到整体的目标函数,求解目标函数,分别得到两个模态的哈希函数。

4.如权利要求3所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,采用迭代优化方法求解目标函数,利用反向传播和随机梯度下降算法更新网络参数,直至收敛。

5.如权利要求3所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,所述整体的目标函数为:上式左边第一项通过深度特征的协同矩阵分解,分别建立两个模态样本的深度特征和共享哈希码之间的关联;第二项将虚拟标签G回归到哈希码B中,保持了哈希码和虚拟标签之间的语义一致性;第三项通过非负谱分析学习虚拟标签;第四项分别学习两种模态的深度哈希函数。

其中,Zt表示第t个模态的深度特征矩阵,Ut表示第t个模态的潜在因子矩阵,B是学习到的共享哈希码,αt是两个模态间的权重因子,η用来控制权重的分布,G表示虚拟标签矩阵,P是语义转换矩阵,L是图拉普拉斯矩阵,Ft(Xt;Wt)是深度哈希网络的输出值,λ、β和μ是正则化参数,I表示单位矩阵。

6.如权利要求2所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,对于图像模态,采用VGG-16模型作为深度哈希网络模型,并使用在大规模ImageNet数据集上预先训练的权值对其进行初始化,卷积层和前两个全连接层构成特征表示部分,用于获取图像的深度特征,最后一个全连接层的神经元数目设置为哈希码长度,并选择双曲正切函数作为激活函数,得到深度网络的输出;

或,对于文本模态,首先基于Bag-of-words模型提取文本特征,然后将文本特征传输到全连接层,前两个全连接层用于获取文本的深度特征,最后一个全连接层的神经元数目设置为哈希码长度,选择双曲正切函数作为激活函数,得到深度网络的输出。

7.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法,其特征在于,采用精度和平均精度作为检索评价指标,所述精度和平均精度值越大表示检索性能越好。

8.一种基于虚拟标签回归的无监督跨模态哈希检索系统,其特征在于,包括:

图像预处理模块,被配置为:获取跨模态检索数据集,并将它们划分为训练集、测试集和数据库集,其中每个样本都包括成对的图像和文本两个模态的数据;

网络模型构建模块,被配置为:构建深度哈希模型并进行网络参数初始化;

深度特征矩阵及深度网络输出获取模块,被配置为:将两个模态的原始数据分别输入到所构建的深度哈希网络中,获取深度特征矩阵,所述深度特征矩阵沿着网络继续传输,得到深度哈希网络的输出值;

目标函数构建模块,被配置为:根据训练集的深度特征矩阵、图像虚拟标签和深度哈希网络的输出值,分别构建深度特征的协同矩阵分解、虚拟标签的学习与回归,以及哈希函数学习的损失函数,整合上述损失函数得到整体的目标函数;

哈希函数学习模块,采用迭代优化方法求解目标函数,利用反向传播和随机梯度下降算法更新网络参数,直至收敛,分别得到两个模态的哈希函数;

检索模块,利用各模态的哈希函数获取测试集和数据库集中样本的哈希码,计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离,数据库集样本按其对应的汉明距离升序排序,得到检索结果。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于虚拟标签回归的无监督跨模态哈希检索方法。

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于虚拟标签回归的无监督跨模态哈希检索方法。