欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022105807045
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-03-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,该方法包括:

实时获取待检索的手绘草图序列以及手绘草图序列对应的草图块;将手绘草图序列和草图块输入到训练好的改进的神经网络模型中,得到草图的嵌入向量和草图块的嵌入向量;计算草图嵌入向量与输入的草图序列的欧式距离,计算草图块的嵌入向量与输入的草图块的欧式距离;对草图的欧式距离和草图块的欧式距离进行加权融合,根据融合后的欧式距离返回检索到top‑k张图片,得到草图的检索结果;改进的神经网络模型包括完整图像分支和切块图像分支,完整图像分支和切块图像分支均采用骨干模型,其中骨干模型包括预训练网络、注意力层以及降维层;完整图像分支用于对完整的草图进行处理,切块图像分支用于对草图块进行处理。

2.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,对改进的神经网络模型进行训练的过程包括:S1:构建训练集,训练集中的数据包括手绘草图和手绘草图对应的草图块;

S2:将训练集中完整的手绘草图和对应的手绘草图块分别输入到骨干模型中,采用三重损失对骨干模型进行预训练;

S3:将完整的草图按照笔画数将其渲染成一个含有n张草图的渐进式草图序列,该草图序列中每一张草图包含的笔画信息由少到多;

S4:将渲染后的草图序列中的每一张图像进行切分成m块,并记录每一个草图块的笔画信息所占比例k;

S5:将含有n张草图的草图序列输入到完整图像分支中,得到草图的嵌入向量;采用三重损失函数计算草图序列中每一张草图的嵌入向量与目标图像的嵌入向量之间的损失;

S6:将对应的m张草图序列块同时输入到切块图像分支中,得到得到m个草图块的嵌入向量;计算m个草图块的嵌入向量和对应的m个图像块的嵌入向量之间的误差;根据比例k将m个误差进行融合,得到切块图像分支的损失;

S7:将草图序列中所有草图的损失和草图块的损失进行融合,得到模型的损失函数,将模型的损失函数进行反向传播,调整模型中的参数;

S8:获取下一张目标图像的草图分支,重复上述步骤S3‑S7,直至模型达到训练次数上限。

3.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,构建训练集的过程包括:根据绘制一幅图像的草图所需的笔画数将对应图像的草图渲染成所需要的n张草图序列,渲染完成后对数据集进行切分,将数据集中的所有图像以及渲染后的草图序列均切分成m份,对切分后的数据进行集合,得到数据集;数据集由完整图像集和切块图像集组成,完整图像集包含多张完整图像以及对应图像按照时间顺序渲染成的n张手绘草图序列集组成,切块图像集中的图像是由完整图像集中的每一张图片切分成m块组成。

4.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,提取完整图像集中每一张草图的嵌入向量的过程包括:将已经渲染好的草图序列按照笔画由少到多的顺序输入到固定参数的预训练网络层f1和完整图像分支的注意力层f2,得到草图的特征向量;将经过f1和f2提取到的特征向量输入到模型中完整图像分支的降维层f3中进行降维处理,得到草图的嵌入向量。

5.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,获取草图块的嵌入向量的过程包括:将草图块输入到预训练网络层f1和切块图像分支的注意力层f2’中,得到草图块的特征向量;将经过f1和f2’提取到的特征向量输入到切块图像分支的降维层f3’中进行降维处理,得到m个草图块的嵌入向量。

6.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,采用三重损失函数计算草图的嵌入向量与目标图像的嵌入向量的损失函数为:其中,tripleLossComplete表示完整草图的三重态损失,N表示渲染后草图序列中的草图张数, 表示第i张草图的嵌入向量, 表示中第i张草图, 表示草图的目标图像的嵌入向量, 表示目标图像, 表示草图的负样本的嵌入向量, 表示草图的负样本。

7.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法,计算草图块的嵌入向量和对应图像块的嵌入向量的误差表达式为:其中, 表示第i块草图的嵌入向量, 表示第i块草图块, 表示草图的目标图像的嵌入向量, 表示第i块草图块对应的目标图像块, 表示草图的负样本的嵌入向量, 表示对应的负样本图像块;tripleLossPart表示草图块的三重态损失,M表示完整草图切分的块数。

8.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法,模型的损失函数表达式为:其中,tripleLossComplete表示完整草图的三重态损失,N表示渲染后草图序列中的草图张数,tripleLossPart表示切块草图的三重态损失,M表示草图切分的块数。

9.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,计算草图块的嵌入向量与输入的草图块的欧式距离的公式为:Dlocal=W31*d1+W32*d2+W33*d3+……+W3m*dm

其中,W3m表示第m个草图块的像素值在完整草图的像素值的比值,且W31+W32+W33+……+W3m=1;dm表示第m个草图块与对应的输入草图块的欧式距离。

10.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法,其特征在于,对草图的欧式距离和草图块的欧式距离进行加权处理融合处理的公式为:D=W1*Dcomplete+W2*Dlocal

其中,W1和W2均表示常量,且W1+W2=1;Dcomplete表示草图嵌入向量与输入的草图序列的欧式距离,Dlocal表示草图块的嵌入向量与输入的草图块的欧式距离。