欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021107788966
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种图像搜索模型的训练方法,包括:

获取样本文本,其中,所述样本文本包括第一语种文本和第二语种文本;

基于所述样本文本,对跨模态图文检索模型中的语义转换网络中进行训练,以获取目标语义转换网络,并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型,其中,跨模态图文检索模型,包括语义转换网络和图像处理网络;目标跨模态图文检索模型,包括目标转换网络和图像处理网络;

其中,所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐,所述训练文本用于训练所述跨模态图文检索模型;所述基于所述样本文本,对跨模态图文检索模型中的语义转换网络中进行训练,以获取目标语义转换网络,包括:将所述样本文本输入至所述语义转换网络中,以输出所述样本文本对应的目标训练文本;

获取所述样本文本和所述目标训练文本的相似度,并基于所述相似度确定所述语义转换网络的损失函数;

基于所述损失函数对所述语义转换网络进行调整,以生成所述目标语义转换网络;所述将所述样本文本输入至所述语义转换网络中,以输出所述样本文本对应的目标训练文本,包括:对所述第一语种文本和所述第二语种文本分别进行特征提取,以获取所述第一语种文本的第一特征向量和所述第二语种文本的第二特征向量;

将所述第一特征向量和所述第二特征向量拼接,生成拼接特征向量;

基于所述拼接特征向量生成第三特征向量;

根据所述第三特征向量,获取所述样本文本对应的目标训练文本。

2.根据权利要求1所述的训练方法,其中,所述根据所述第三特征向量,获取所述样本文本对应的目标训练文本,包括:将所述第三特征向量与候选训练文本的第四特征向量进行相似度比较,以获取最高相似度的所述第四特征向量对应的所述候选训练文本,作为所述目标训练文本。

3.根据权利要求1所述的训练方法,其中,所述将所述第一特征向量和所述第二特征向量拼接,生成拼接特征向量,包括:将所述第一特征向量和所述第二特征向量通过分隔符进行连接,生成所述拼接特征向量。

4.根据权利要求1所述的训练方法,其中,所述基于所述拼接特征向量生成所述第三特征向量,包括:在所述拼接特征向量之前加入预留向量,以得到所述第三特征向量。

5.一种图像搜索方法,包括:

获取搜索文本,其中,所述搜索文本为中文文本、英文文本或者中英混合文本中的一种;

将所述搜索文本输入如权利要求1‑4中任一所述的目标跨模态图文检索模型中,输出与所述搜索文本对应的目标搜索图像。

6.一种图像搜索模型的训练装置,包括:

获取模块,用于获取样本文本,其中,所述样本文本包括第一语种文本和第二语种文本;

生成模块,用于基于所述样本文本,对跨模态图文检索模型中的语义转换网络中进行训练,以获取目标语义转换网络,并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型,其中,跨模态图文检索模型,包括语义转换网络和图像处理网络;目标跨模态图文检索模型,包括目标转换网络和图像处理网络;

其中,所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐,所述训练文本用于训练所述跨模态图文检索模型;所述生成模块,还用于:将所述样本文本输入至所述语义转换网络中,以输出所述样本文本对应的目标训练文本;

获取所述样本文本和所述目标训练文本的相似度,并基于所述相似度确定所述语义转换网络的损失函数;

基于所述损失函数对所述语义转换网络进行调整,以生成所述目标语义转换网络;所述生成模块,还用于:对所述第一语种文本和所述第二语种文本分别进行特征提取,以获取所述第一语种文本的第一特征向量和所述第二语种文本的第二特征向量;

将所述第一特征向量和所述第二特征向量拼接,生成拼接特征向量;

基于所述拼接特征向量生成第三特征向量;

根据所述第三特征向量,获取所述样本文本对应的目标训练文本。

7.根据权利要求6所述的训练装置,其中,所述生成模块,还用于:将所述第三特征向量与候选训练文本的第四特征向量进行相似度比较,以获取最高相似度的所述第四特征向量对应的所述候选训练文本,作为所述目标训练文本。

8.根据权利要求6所述的训练装置,其中,所述生成模块,还用于:将所述第一特征向量和所述第二特征向量通过分隔符进行连接,生成所述拼接特征向量。

9.根据权利要求6所述的训练装置,其中,所述生成模块,还用于:在所述拼接特征向量之前加入预留向量,以得到所述第三特征向量。

10.一种图像搜索装置,包括:

获取模块,用于获取搜索文本,其中,所述搜索文本为中文文本、英文文本或者中英混合文本中的一种;

输出模块,用于将所述搜索文本输入如权利要求6‑9中任一所述的训练装置中,输出与所述搜索文本对应的目标搜索图像。

11.一种电子设备,其特征在于,包括处理器和存储器;

其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1‑5中任一项所述的方法。

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑5中任一项所述的方法。

13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑5中任一项所述的方法。