欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019100962042
申请人: 鲁东大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种鲁棒离散监督跨媒体哈希检索方法,其特征在于,该方法包括如下步骤:第一步:搜集含有类标签的图像和文本样本对,构成图像、文本一一对应的跨模态检索的图文数据集;

第二步:分别对图像和文本模态样本提取特征,并分别对图像和文本模态样本的特征去均值,使两个模态样本的特征数据均值为0;

第三步:将数据集中的所有样本对随机划分为训练集和测试集;

第四步:利用训练集中样本对的类标签、图像和文本模态的样本特征分别构造两两样本间相似度矩阵,并利用两两样本间相似度矩阵的低秩特性和噪声样本的稀疏特性,学习(1) (2) (1)一个鲁棒的两两样本间相似度矩阵;训练样本对的特征设为X,X={X ,X },其中X 表示(2)训练集中图像模态的样本特征,X 表示训练集中文本模态的样本特征,其中d1和d2分别表示图像和文本模态样本特征的维度,N表示训练集中图像或文本模态样本数量,样本对的类标签用L表示,cc表示样本类别的数量,li∈{0,1} ,如果lij=1,表示第i个样本属于第j类;反之,如果lij=0,表示第i个样本不属于第j类;学习鲁棒两两样本间相似度矩阵的目标函数包括以下步骤:(1)利用图像模态的样本特征计算基于图像模态特征的两两样本间的相似度矩阵,定义如下:(1)

其中||·||F表示Frobenius范数,S 表示图像模态的两两样本间相似度矩阵, 表示第i个图像样本和第j个图像样本的相似度,σ1为尺度参数;

(2)利用文本模态的样本特征计算基于文本模态特征的两两样本间相似度矩阵,定义如下:(2)

其中S 表示文本模态的两两样本间相似度矩阵, 表示第i个文本样本和第j个文本样本的相似度,σ2为尺度参数;

(3)利用样本对的类标签计算基于类标签的两两样本间相似度矩阵,定义如下:(3)

其中S 表示样本对标签的两两相似度矩阵, 表示第i个样本对标签和第j个样本对标签的相似度;

(4)学习鲁棒两两样本间相似度矩阵的目标函数定义如下:(i) (i)

s.t.S =S+||E ||0(i)

其中S表示学习的鲁棒样本间两两相似度矩阵,E 表示第i个两两相似度矩阵中的噪声,rank(·)表示矩阵的秩,||·||0表示l0范数;

(5)上述(4)中的目标函数存在离散低秩和l0范数的约束,上式可改写为(i) (i)

s.t.S =S+||E ||1其中||·||*表示核范数,||·||1表示l1范数,(6)利用増广拉格朗日乘子法求解这个问题,得到鲁棒两两样本间相似度矩阵;

第五步:构造目标函数,具体包括以下步骤:(1)在汉明空间保持基于鲁棒两两样本间相似度矩阵的相似性,哈希码学习的目标函数定义如下:其中k表示哈希码的长度,B1为图像模态样本的哈希码,B2为文本模态样本的哈希码,λ为权重参数;

(2)利用线性映射作为哈希函数,并利用l2,1范数作为正则项约束图像和文本模态哈希函数的学习,各模态哈希函数学习的目标函数定义如下:其中W1,W2分别表示图像模态和文本模态的哈希函数,Reg(·)表示正则项防止过拟合,在这里 βi和μ为权重参数;

(3)将哈希码和哈希函数学习的目标函数相加即为本方法的目标函数,定义如下:其中βi为权重参数;

第六步:目标函数利用迭代优化算法求解,求解过程包括以下步骤:(1)固定W1,W2和B2,求解B1:去除常数项,目标函数可写为:

在此可以逐样本求解,令b1i表示B1的第i列,b2j表示B2的第j列,去除常数项目标函数可写为:在此采用循环坐标梯度下降法逐比特求解,设b1im表示b1i的第m比特, 表示b1i除了第m比特外的其他比特构成的向量,则b1im可由下式得到:重复上式直至求解完所有图像模态样本的哈希码;

(2)固定W1,W2和B1,求解B2:与求解B1方法相同,可得

重复上式直至求解完所有文本模态样本的哈希码;

(3)固定W2,B1和B2,求解W1:去除常数项,目标函数可写为:

这个问题存在闭合解

其中D1为对角阵,

(4)固定W1,B1和B2,求解W2:与求解W1方法相同,W2存在闭合解其中D2为对角阵,

(5)重复执行(1)‑(4)至算法收敛或达到最大迭代次数;

第七步:用户输入查询样本,提取其特征,并对提取的特征去均值;

第八步:利用已学习的哈希函数生成查询样本的哈希码:第九步:计算查询样本与训练集中异构样本的汉明距离,并对汉明距离按升序排列,前r个汉明距离对应的样本即为检索结果。