1.一种基于锚点图的跨模态哈希学习方法,建立n个对象在图像模态和文本模态的特征分别为 和 其中, 和分别表示第i个对象在图像模态和文本模态的特征向量,i=1,2,…,n,d1和d2分别表示图像模态和文本模态特征向量的维数;同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的,即满足 假设 和 分别(1) (2)
为图像模态和文本模态样本的邻接矩阵;矩阵A 中的元素 和矩阵A 中的元素分别表示图像模态和文本模态中第i个样本与第j个样本之间的相似度;假设S∈{0,n×n
1} 为两个模态中样本之间的语义相关性矩阵,其中,Sij表示图像模态中第i个样本与文本模态中第j个样本的语义相关性;如果图像模态中第i个样本与文本模态中第j个样本是语义相关的,则Sij=1,否则Sij=0;特征在于,该方法包括以下步骤:(1)使用基于锚点图技术设计的目标函数得到n个对象在图像模态和文本模态的二进制哈希编码B1和B2,以及图像模态和文本模态的投影矩阵P1和P2;
(2)鉴于目标函数的非凸性质,通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2,即交替地求解如下三个子问题:固定B1和B2,求解P1和P2;固定B2、P1和P2,求解B1;固定B1、P1和P2,求解B2;
(3)基于求解得到的图像模态和文本模态的投影矩阵P1和P2,为查询样本和检索样本集中的样本生成二进制哈希编码;
(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离;
(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索;
所述步骤(1)中的基于锚点图技术设计的目标函数形式如下:
其中,α、β、γ和λ为非负的平衡因子,k为二进制哈希编码的长度,1n×1表示元素全部为1(1) (2)的列向量,L 、L 和L均为拉普拉斯矩阵,tr(·)表示矩阵的迹,||·||F表示矩阵的TFrobenius范数,(·) 表示矩阵的转置,sign(·)为符号函数;
所述步骤(2)中的通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2,具体为,交替地求解如下三个子问题:(1)固定B1和B2,求解P1和P2;当固定二进制哈希编码B1和B2后,公式(1)所示的目标函数简化为关于投影矩阵P1和P2的子问题,即:(2)固定B2、P1和P2,求解B1;当固定二进制哈希编码B2,以及投影矩阵P1和P2后,公式(1)所示的目标函数简化为关于二进制哈希编码B1的子问题,即:(3)固定B1、P1和P2,求解B2;当固定二进制哈希编码B1,以及投影矩阵P1和P2后,公式(1)所示的目标函数简化为关于二进制哈希编码B2的子问题,即:所述步骤(3)中的基于求解得到的图像模态和文本模态的投影矩阵P1和P2,为查询样本和检索样本集中的样本生成二进制哈希编码,具体为,假设图像模态的一个查询样本的特征向量为 文本模态的一个查询样本的特征向量为 图像模态检索样本集中样本的特征为 文本模态检索样本集中样本的特征为
其中,表示检索样本集中样本的数量;查询样本和检索样
本集中样本的二进制哈希编码分别为: 和
其中,
2.根据权利要求1所述的一种基于锚点图的跨模态哈希学习方法,其特征在于,所述步骤(4)中的基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离,具体为,使用公式 计算图像模态的查询样本到文本模态检索样本集中每个样本的汉明距离;使用公式 计算文本模态的查询样本到图像模态检索样本集中每个样本的汉明距离。
3.根据权利要求2所述的一种基于锚点图的跨模态哈希学习方法,其特征在于,所述步骤(5)中的使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索,具体是对计算得到的汉明距离 或者 按照从小到大的顺序进行排序,然后,在检索样本集中取前K个最小距离对应的样本作为检索结果。