欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019101960097
申请人: 九江学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的跨模态哈希检索方法,假设n个对象的图像模态的像素特征向量集为 其中,vi表示第i个对象在图像模态的像素特征向量;令表示这n个对象在文本模态的特征向量,其中,ti表示第i个对象在文本模态的特征向量;将n个对象的类别标记向量表示为 其中,c表示对象类别的数量;对于向量yi来说,如果第i个对象属于第k类,则令向量yi的第k个元素为1,否则,向量yi的第k个元素为

0;其特征在于,该方法包括以下步骤:

(1)使用基于深度学习技术设计的目标函数得到图像模态和文本模态共享的二进制哈希编码B,图像模态和文本模态的深度神经网络参数θv和θt,以及图像模态和文本模态的投影矩阵Pv和Pt;

(2)使用交替求解的方式求解目标函数中的未知变量B、θv、θt、Pv和Pt,即交替的求解如下三个子问题:固定B、Pv和Pt,求解θv和θt;固定B、θv和θt,求解Pv和Pt;固定θv、θt、Pv和Pt,求解B;

(3)基于求解得到的图像模态和文本模态的深度神经网络参数θv和θt,以及投影矩阵Pv和Pt,为查询样本和检索样本集中的样本生成二进制哈希编码;

(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离;

(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索;

所述步骤(1)中的基于深度学习技术设计的目标函数形式如下:T n×k

其中,γ1和γ2为非负平衡因子,B=[b1,b2,…,bn]∈{‑1,+1} , 和为投影矩阵,θv和θt为深度神经网络参数, 和 分别为n个对象在图像模态和文本模态的深度特征,并且矩阵F和矩阵G的第i列的向量分别为f(vi;θv)和g(ti;θt),为拉普拉斯矩阵用于保持模态内一致性和模态间的一致性,1为全部元素为1的列T

向量,||·||F表示矩阵的Frobenius范数,tr(·)表示矩阵的迹,(·) 表示矩阵的转置。

2.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(2)中的使用交替求解的方式求解目标函数中的未知变量B、θv、θt、Pv和Pt,具体为,交替地求解如下三个子问题:(1)固定B、Pv和Pt,求解θv和θt;当固定二进制哈希编码B,以及投影矩阵Pv和Pt时,公式(1)所示的目标函数简化为关于深度神经网络参数θv和θt的子问题,即:(2)固定B、θv和θt,求解Pv和Pt;当固定二进制哈希编码B,以及深度神经网络参数θv和θt时,公式(1)所示的目标函数简化为关于投影矩阵Pv和Pt的子问题,即:(3)固定θv、θt、Pv和Pt,求解B;当固定深度神经网络参数θv和θt,以及投影矩阵Pv和Pt时,公式(1)所示的目标函数简化为关于二进制哈希编码B的子问题,即:在求解公式(4)中的未知变量B时,使用基于奇异值分解的离散哈希算法进行求解。

3.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(3)中的基于求解得到的图像模态和文本模态的深度神经网络参数θv和θt,以及投影矩阵Pv和Pt,为查询样本和检索样本集中的样本生成二进制哈希编码,具体为,假设图像模态的一个查询样本的特征向量为 文本模态的一个查询样本的特征向量为 图像模态检索样本集中样本的特征为 文本模态检索样本集中样本的特征为其中,表示检索样本集中样本的数量;图像模态和文本模态查询样本和检索样本集中样本的二进制哈希编码分别为:

和 其中,

sign(·)为符号函数。

4.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(4)中的基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离,具体为,使用公式 计算图像模态的查询样本到文本模态检索样本集中第i个样本的汉明距离;使用公式 计算文本模态的查询样本到图像模态检索样本集中第i 个样本的汉明距离。

5.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(5)中的使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索,具体为,对计算得到的汉明距离 或者 按照从小到大的顺序进行排序,然后,在文本模态或者图像模态检索样本集中取前K个最小距离对应的样本作为检索结果。