1.一种相似性保留跨模态哈希检索方法,假设n个对象 在图像模态和文本模
态的特征分别为 和 其中,d1和d2
分别表示图像模态和文本模态特征向量的维度, 和 分别表示第i个对象在
图像模态和文本模态的特征;同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的,即满足 假设由n个对象的类别标记构成的标记矩阵为L=[l1,l2,…,ln]∈{0,1}l×n,其中,li(i=1,2,…,n)表示第i个对象的类别标记信息,l为类别数量;假设跨模态相似性矩阵为S∈{0,1}n×n,其中,Sij表示图像模态中第i个样本与文本模态中第j个样本的相似性;如果图像模态中第i个样本与文本模态中第j个样本是相似的(至少属于一个相同的类别),则Sij=1,否则Sij=0;其特征在于,包括以下步骤:(1)基于相似性保留策略的目标函数构建:使用基于模态间相似性保留策略和模态内相似性保留策略设计的目标函数得到n个对象图像模态和文本模态特征数据在汉明空间中的二进制哈希编码U和V,分别对应于图像模态和文本模态的哈希投影矩阵P1和P2,以及两个系数矩阵W1和W2;
(2)目标函数的求解:鉴于目标函数的非凸性质,通过交替更新的方式得到目标函数的解U、V、P1、P2、W1和W2,即交替地求解如下四个子问题:固定U、V、W1和W2,求解P1和P2;固定U、V、P1和P2,求解W1和W2;固定V、P1、P2、W1和W2,求解U;固定U、P1、P2、W1和W2,求解V;
(3)生成查询样本和检索样本集中的样本二进制哈希编码:基于求解得到的图像模态和文本模态的哈希投影矩阵P1和P2,为查询样本和检索样本集中的样本生成二进制哈希编码;
(4)计算查询样本到检索样本集中各个样本的汉明距离:基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离;
(5)使用跨模态检索器完成对查询样本的检索:使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。
2.根据权利要求1所述的一种相似性保留跨模态哈希检索方法,其特征在于,所述的步骤(1)中基于模态间相似性保留策略和模态内相似性保留策略设计的目标函数形式如下:其中,α、β、γ和η为非负的平衡因子,c为二进制哈希编码的长度,I为单位矩阵,1n×1表示元素全部为1的列向量, ui为图像模态第i个样本的二进制哈希编码,vj为文本模态第j个样本的二进制哈希编码,||·||F表示矩阵的Frobenius范数,(·)T表示矩阵的转置运算。
3.根据权利要求1所述的一种相似性保留跨模态哈希检索方法,其特征在于,所述的步骤(2)中通过交替求解的方式得到目标函数的解U、V、P1、P2、W1和W2,具体为,交替地求解如下四个子问题:(1)固定U、V、W1和W2,求解P1和P2;当固定二进制哈希编码U和V,以及系数矩阵W1和W2后,公式(1)中的目标函数简化为关于哈希投影矩阵P1和P2的子问题,即:(2)固定U、V、P1和P2,求解W1和W2;当固定二进制哈希编码U和V、以及哈希投影矩阵P1和P2后,公式(1)中的目标函数简化为关于系数矩阵W1和W2的子问题,即:(3)固定V、P1、P2、W1和W2,求解U;当固定文本模态二进制哈希编码V,哈希投影矩阵P1和P2,以及系数矩阵W1和W2后,公式(1)中的目标函数简化为关于图像模态二进制哈希编码U的子问题,即:(4)固定U、P1、P2、W1和W2,求解V;当固定图像模态二进制哈希编码U,哈希投影矩阵P1和P2,以及系数矩阵W1和W2后,公式(1)中的目标函数简化为关于文本模态二进制哈希编码V的子问题,即:
4.根据权利要求1所述的一种相似性保留跨模态哈希检索方法,其特征在于,所述的步骤(3)中基于求解得到的图像模态和文本模态的哈希投影矩阵P1和P2,为查询样本和检索样本集中的样本生成二进制哈希编码,具体为,假设图像模态的一个查询样本的特征向量为文本模态的一个查询样本的特征向量为 图像模态检索样本集中样本的特征为 文本模态检索样本集中样本的特征为
其中,表示检索样本集中样本的数量;查询样本和检索样
本集中样本的二进制哈希编码分别为: 和
其中,
5.根据权利要求1所述的一种相似性保留跨模态哈希检索方法,其特征在于,所述的步骤(4)中基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离,具体为,使用公式 计算图像模态的查询样本到文本模态检索样本集中每个样本的汉明距离,使用公式 计算文本模态的查询样本到图像模态检索样本集中每个
样本的汉明距离。
6.根据权利要求1所述的一种相似性保留跨模态哈希检索方法,其特征在于,所述的步骤(5)中使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索,具体为,对计算得到的汉明距离 (或者 )按照从小到大的顺序进行排序,然后,在检索样本集中取前K个最小距离对应的样本作为检索结果。