欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017105810831
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于判别性关联最大化哈希的跨模态检索方法,其特征在于,包括以下步骤:步骤1:获取训练数据集,其中每个样本都包括成对的图像和文本两个模态数据;

步骤2:对训练数据集进行多模态提取,得到训练多模态数据集Otrain;

步骤3:对于训练多模态数据集Otrain,构造该数据集上的基于判别性关联最大化哈希的目标函数;

步骤4:求解所述目标函数,得到图像、文本的投影到公用的海明空间的投影矩阵W1和W2、图像文本对的哈希码B;

test

步骤5:获取测试数据集,并对其进行多模态提取,得到测试多模态数据集O ;

步骤6:对于测试多模态数据集Otest,根据步骤4求得的投影矩阵W1和W2,将测试数据集中每个样本的图像或文本投影到所述公用的海明空间,并通过哈希函数量化为哈希码;

步骤7:进行跨模态检索,基于哈希码,在所述训练数据集中检索与测试集中待检索样本相关的另一模态的对象;

所述步骤3中目标函数为:

s.t.B∈{-1,1}L×N,W1W1T=Ik,其中, 分别是图像和文本的数据特征矩阵,是标记矩阵;λ,μ1,μ2,β,α是平衡参数,γ是正则化参数,Sw为类内相似度矩阵,Sb为类间相似度矩阵,Q为分类器矩阵,N是样本个数,c表示类别数。

2.如权利要求1所述的一种基于判别性关联最大化哈希的跨模态检索方法,其特征在于,所述步骤3包括:步骤3-1:设训练多模态数据子集Otrain每个数据样本为 其中,是图像的特征向量, 是文本的特征向量,yi∈{0,1}c是类别标记,N是样本个数;将两个模态的数据从原始的异构空间投影到公用的海明空间中,并使一个样本中成对的图像和文本之间的关联最大化:T

s.t.W1W1=Ik,

步骤3-2:对文本模态数据进行线性判别分析处理,并使其特性传递到图像模态数据:步骤3-3:将两个模态数据特征转换为哈希码,将通过哈希函数得到哈希码的量化损失最小化:s.t.B∈{-1,1}L,W1W1T=Ik,步骤3-4:加入类别标记作为监督信息,对哈希码进行分类:s.t.B∈{-1,1}L

步骤3-5:增加正则化项防止过拟合,其定义为:步骤3-6:将步骤3-1至3-5整合,得到目标函数。

3.如权利要求2所述的一种基于判别性关联最大化哈希的跨模态检索方法,其特征在于,所述步骤4目标函数求解方法为:步骤4-1:固定目标函数中的其他项,求解图像模态的投影矩阵W1;

步骤4-2:固定目标函数中的其他项,求解文本模态的投影矩阵W2;

步骤4-3:固定目标函数中的其他项,求解联合哈希码B;

步骤4-4:固定目标函数中的其他项,求解分类器矩阵Q。

4.如权利要求1所述的一种基于判别性关联最大化哈希的跨模态检索方法,其特征在于,所述检索方法还包括:根据多模态数据集自带的类别标记评判检索正确率。

5.一种用于跨模态检索的目标函数构建方法,其特征在于,包括:步骤1:获取训练数据集,其中每个样本都包括成对的图像和文本两个模态数据;对所述训练数据集进行多模态提取,得到训练多模态数据集Otrain;

步骤2:将两个模态的数据从原始的异构空间投影到公用的海明空间中,并使一个样本中成对的图像和文本之间的关联最大化;

步骤3:对文本模态数据进行线性判别分析处理,并使其特性传递到图像模态数据;

步骤4:将两个模态数据特征转换为哈希码,将通过哈希函数得到哈希码的量化损失最小化;

步骤5:加入类别标记作为监督信息;

步骤6:增加正则化项防止过拟合;

步骤7:将步骤2至6整合,得到基于判别性关联最大化哈希的目标函数目标函数。

6.如权利要求5所述的一种用于跨模态检索的目标函数构建方法,其特征在于,所述步骤2中使一个样本中成对的图像和文本之间的关联最大化定义为:s.t.W1W1T=Ik,

其中,V和T分别是图像和文本的数据特征矩阵,W1和W2分别为图像、文本的投影到公用的海明空间的投影矩阵。

7.如权利要求6所述的一种用于跨模态检索的目标函数构建方法,其特征在于,所述步骤3包括:对文本模态数据进行线性判别分析处理,获取类内相似度矩阵Sw和类间相似度矩阵Sb,将该特性传递到图像模态数据,定义为:Sw为类内相似度矩阵,Sb为类间相似度矩阵。

8.如权利要求6或7所述的一种用于跨模态检索的目标函数构建方法,其特征在于,所述步骤4将通过哈希函数得到哈希码的量化损失最小化定义为:s.t.B∈{-1,1}L,W1W1T=Ik,其中,B为联合哈希码。

9.如权利要求8所述的一种用于跨模态检索的目标函数构建方法,其特征在于,步骤5类别标记定义为:s.t.B∈{-1,1}L

其中,Q为分类器矩阵,Y表示标记矩阵。

10.如权利要求9所述的一种用于跨模态检索的目标函数构建方法,其特征在于,所述步骤6正则化项定义为: