1.基于深度学习的文本图片匹配推荐方法,其特征在于,首先采用计算特征向量集合的相似性实现对文本的划分;然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度;最后提取图片和文本的关键词特征向量,再使用特征向量的匹配方法对图片和文本进行匹配;
具体包括以下步骤:
步骤1,采集用户输入的含有图片的文本到材料数据库中;分离出文本素材和图片素材;
步骤2,计算的图片的灰度值,将图片的灰度值使用拉普拉斯掩模做卷积运算,然后计算标准差来判断图片的清晰度,剔除不清晰的图片;
步骤3,使用OCR采集图片中存在的文字,使用im2txt生成描述图片的文本;图片中存在的文字和使用im2txt生成的文本组成了图片的语义;
步骤4,提取图片和文本的关键词特征向量;
步骤5,基于段落间相似度对文本进行段落划分,通过计算两个相邻段落特征向量集合之间的相似性来实现对于段落间的语义相似程度判断,实现对于文本基于语义的段落划分;
步骤6,首先,依据对文本的划分结果,生成文本各个部分的特征向量;然后,生成整篇文本的特征向量;最后,使用图片语义关键词特征向量生成图片的特征向量;
步骤7,首先,以文本特征向量在用户操作数据库中检索,得到最为相似的数据,称为用户操作记录数据;然后,计算用户操作记录数据中文本主题图片特征向量与输入的所有图片特征向量之间的距离,检索出与用户操作记录中最为相似的图片特征向量,给予检索出的图片特征向量更高的匹配权重;
步骤8,使用步骤7给各个特征向量设置的匹配权重,计算文本特征向量与各个图片特征向量的距离,为整篇文本检索出一张图片用于主页显示;依次以文本各个逻辑段落特征向量为中心计算与每个图片特征向量之间的距离;选取若干距离较近的图片特征向量,即获得与当前逻辑段落语义相近的图片集合;
步骤9,调整特定图片在文本中的位置,使得各个图片在文本中的位置更加合理;
步骤10,记录用户的手动调整数据到用户操作数据库中,充实用户操作数据使得该方法能够更加贴合用户的实际使用需求,提高最佳匹配的成功概率。
2.根据权利要求1所述的基于深度学习的文本图片匹配推荐方法,其特征在于,所述步骤4具体为:步骤4.1,使用jieba分词组件对文本与图片语义进行去重和词性标注文本数据预处理操作,保留若干词性的词语得到候选关键词集合;
步骤4.2,遍历候选关键词集合,从训练好的word2vec模型得到的词向量文件中获取候选关键词对应的特征向量,形成候选关键词特征向量集合;
步骤4.3,从候选关键词特征向量集合筛选出关键词特征向量。
3.根据权利要求1所述的基于深度学习的文本图片匹配推荐方法,其特征在于,所述步骤5计算段落相似度,根据语义划分文本中,以余弦距离为基础,设定两个阈值I,J,如果两个向量的余弦距离小于I则可认定两个特征向量相似,如果两个集合的相似度大于J则认为两个集合相似;设两个相邻段落的特征向量集合为A和B,具体计算步骤如下:步骤5.1,计算集合A与集合B中各个元素之间的余弦距离,从而得出A与B的交集,和并集;
步骤5.2,计算集合A,B的交集元素个数与并集元素个数的比值,得出集合相似度K;
步骤5.3,判断集合相似度K与阈值J的大小关系,判断两个集合是否相似,从而得出两个文本是否相似。
4.根据权利要求1所述的基于深度学习的文本图片匹配推荐方法,其特征在于步骤6,利用特征向量集合和权重向量生成能代表整个特征向量集合的特征向量;生成文本中各部分的特征向量,具体步骤如下:步骤6.1,利用各逻辑段落关键词特征向量集合生成各个逻辑段落对应的逻辑段落的特征向量;
步骤6.2,收集图片中直接显示的文字的关键词特征向量和使用im2txt得到的图片语义描述中提取的关键词特征向量;给予图片中显示的文字的关键词特征向量更高的权重,与图片语义关键词特征向量生成平均特征向量,也就是该图片的特征向量;
步骤6.3,依据步骤4中划分的逻辑段落,使用各个逻辑段落中的关键词特征向量生成平均特征向量,也就是代表该逻辑段落的特征向量;
步骤6.4,对于文本中标题、副标题、摘要生成的关键词特征向量更高的权重,与文本正文中的关键词特征向量生成平均特征向量,也就是能代表该文本的特征向量。
5.根据权利要求1所述的基于深度学习的文本图片匹配推荐方法,其特征在于,步骤7使用当前文本的特征向量检索出与该文本相似的用户操作数据记录,匹配出与用户操作数据相似的图片特征向量,在后续的匹配操作步骤中给予更高的权重;
具体步骤如下:
步骤7.1,计算数据库中每项数据的文本特征向量与当前文本特征向量之间的距离;
步骤7.2,将计算得的距离排序,得到用户操作数据库中存储的与当前文本最为相似的操作记录数据;
步骤7.3,得到与当前文本最相似的操作记录数据中的文本主题图片特征向量,计算待筛选的图片特征向量与操作记录中的文本主题图片特征向量之间的距离,给予最为相近的带筛选的图片特征向量更高的匹配权重。