欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019101960097
申请人: 九江学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的跨模态哈希检索方法,假设 个对象的图像模态的像素特征向量集为 ,其中, 表示第 个对象在图像模态的像素特征向量;令表示这 个对象在文本模态的特征向量,其中,表示第个对象在文本模态的特征向量;将 个对象的类别标记向量表示为 ,其中,表示对象类别的数量;对于向量 来说,如果第个对象属于第 类,则令向量 的第 个元素为1,否则,向量的第 个元素为0;其特征在于,该方法包括以下步骤:(1)使用基于深度学习技术设计的目标函数得到图像模态和文本模态共享的二进制哈希编码 ,图像模态和文本模态的深度神经网络参数 和 ,以及图像模态和文本模态的投影矩阵 和 ;

(2)使用交替更新的方式求解目标函数中的未知变量 、、、和 ,即交替的求解如下三个子问题:固定 、和 ,求解 和 ;固定 、和 ,求解 和 ;固定 、、和 ,求解 ;

(3)基于求解得到的图像模态和文本模态的深度神经网络参数 和 ,以及投影矩阵和 ,为查询样本和检索样本集中的样本生成二进制哈希编码;

(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离;

(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。

2.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(1)中的基于深度学习技术设计的目标函数形式如下:,(1)

其中,和 为非负平衡因子, , 和

为投影矩阵,和 为深度神经网络参数, 和 分别为 个对象在图像

模态和文本模态的深度特征,并且矩阵 和矩阵 的第 列的向量分别为 和, 为拉普拉斯矩阵用于保持模态内一致性和模态间的一致性,为全部元素为1的列向量, 表示矩阵的Frobenius范数, 表示矩阵的迹, 表示矩阵的转置。

3.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(2)中的使用交替更新的方式求解目标函数中的未知变量 、、、和 ,具体为,交替地求解如下三个子问题:(1)固定 、和 ,求解 和 ;当固定二进制哈希编码 ,以及投影矩阵 和 时,公式(1)所示的目标函数简化为关于深度神经网络参数 和 的子问题,即:(2);

(2)固定 、和 ,求解 和 ;当固定二进制哈希编码 ,以及深度神经网络参数 和时,公式(1)所示的目标函数简化为关于投影矩阵 和 的子问题,即:(3);

(3)固定 、、和 ,求解 ;当固定深度神经网络参数 和 ,以及投影矩阵 和 时,公式(1)所示的目标函数简化为关于二进制哈希编码 的子问题,即:(4)

在求解公式(4)中的未知变量 时,使用基于奇异值分解的离散哈希算法进行求解。

4.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(3)中的基于求解得到的图像模态和文本模态的深度神经网络参数 和 ,以及投影矩阵 和 ,为查询样本和检索样本集中的样本生成二进制哈希编码,具体为,假设图像模态的一个查询样本的特征向量为 ,文本模态的一个查询样本的特征向量为 ,图像模态检索样本集中样本的特征为 ,文本模态检索样本集中样本的特征为 ,其中,表示检索样本集中样本的数量;图像模态和文本模态查询样本和检索样本集中样本的二进制哈希编码分别为: ,, 和 ,其中,

, 为符号函数。

5.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(4)中的基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离,具体为,使用公式 计算图像模态的查询样本到文本模态检索样本集中第( )个样本的汉明距离;使用公式 计算文本模态的查询样本到图像模态检索样本集中第( )个样本的汉明距离。

6.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法,其特征在于,所述步骤(5)中的使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索,具体为,对计算得到的汉明距离 (或者 )按照从小到大的顺序进行排序,然后,在文本模态(或者图像模态)检索样本集中取前 个最小距离对应的样本作为检索结果。