1.基于跨模态相似度文本挖掘数据查询方法,其特征在于,包括:
获取待查询文本和预设文本库中的目标文本,所述目标文本包括图像特征数据和时序关系数据;构建多层级特征提取网络,所述多层级特征提取网络包括文本特征提取模块、图像特征提取模块以及时序特征提取模块;将所述待查询文本输入所述文本特征提取模块得到文本多维特征向量,将所述图像特征数据输入所述图像特征提取模块得到图像多维特征向量,将所述时序关系数据输入所述时序特征提取模块得到时序多维特征向量;
构建自适应跨模态对比学习网络,所述自适应跨模态对比学习网络包括特征融合子网络和动态权重调整模块;将所述文本多维特征向量、所述图像多维特征向量和所述时序多维特征向量输入所述特征融合子网络,通过所述动态权重调整模块对不同模态特征进行融合映射,得到自适应融合特征;利用对比学习损失函数基于自适应融合特征进行优化,构建跨模态相似度矩阵;
构建多层级筛选模型,所述多层级筛选模型包括粗粒度过滤层和细粒度评估层;利用所述多层级筛选模型,基于所述跨模态相似度矩阵对所述目标文本进行分层筛选,得到目标候选文本集合;利用图神经网络构建文本关系推理模块,基于所述目标候选文本集合建立文本关系图;采用多任务学习框架对所述文本关系图进行文本聚类和关系预测,生成结构化的查询报告。
2.根据权利要求1所述的方法,其特征在于,构建多层级特征提取网络,包括:
构建文本特征提取模块的层次化注意力网络,通过词向量嵌入层将所述待查询文本转换为初始词向量;基于所述初始词向量构建自注意力矩阵,所述自注意力矩阵通过查询向量、键向量和值向量的缩放点积运算获得词级注意力分数;对所述词级注意力分数进行归一化处理后与所述值向量加权组合得到词级上下文表示;将所述文本数据划分为多个句子单元,对每个句子单元内的词级特征进行池化操作得到句子表示;构建句间注意力网络计算句子间语义依赖关系,得到文本多维特征向量;
构建图像特征提取模块的空间注意力网络,通过多层卷积网络提取所述图像特征数据的多尺度特征图;对所述多尺度特征图分别构建通道注意力分支和空间注意力分支;在所述通道注意力分支中,通过全局平均池化和最大池化操作得到通道描述符,将所述通道描述符输入多层感知机生成通道权重;在所述空间注意力分支中,通过卷积操作生成二维注意力图;将所述通道权重与所述二维注意力图进行特征重标定,得到图像多维特征向量;
构建时序特征提取模块的双向长短时记忆网络,将所述时序关系数据的时间戳信息映射为时间嵌入向量;构建前向长短时记忆网络层和后向长短时记忆网络层,所述前向长短时记忆网络层和所述后向长短时记忆网络层均包含输入门控单元、遗忘门控单元和输出门控单元;通过所述输入门控单元控制当前时刻信息输入比例,通过所述遗忘门控单元调节历史信息保留程度,通过所述输出门控单元确定状态输出信息量;在所述长短时记忆网络层之上构建时序注意力层,计算不同时间步的关联强度,根据注意力权重对历史状态进行加权组合得到图像多维特征向量。
3.根据权利要求1所述的方法,其特征在于,构建自适应跨模态对比学习网络,包括:
构建特征融合子网络,将所述特征融合子网络划分为文本特征变换分支、图像特征变换分支和时序特征变换分支;在每个特征变换分支中设置投影层,所述投影层包含用于特征维度变换的全连接层、用于特征分布标准化的批归一化层和用于非线性映射的激活函数;在所述投影层之后设置跨模态注意力层,所述跨模态注意力层包含查询映射单元、键值映射单元和注意力计算单元;
将输入的文本多维特征向量、所述图像多维特征向量和所述时序多维特征向量分别输入文本特征变换分支、图像特征变换分支和时序特征变换分支的投影层;所述投影层通过全连接层、批归一化层和激活函数将不同维度的特征向量映射至相同维度的特征空间得到统一特征向量;所述跨模态注意力层将每个模态的统一特征向量作为查询向量,其他模态的统一特征向量作为键值对计算模态间注意力权重,得到注意力增强的模态特征;
构建动态权重调整模块,所述动态权重调整模块包括特征质量评估网络和权重生成网络;所述特征质量评估网络接收所述注意力增强的模态特征的统计量和分布信息,输出特征可靠性评分;所述权重生成网络基于所述特征可靠性评分和所述注意力增强的模态特征通过多层感知机生成动态融合权重,并对所述动态融合权重进行归一化;将所述动态融合权重与所述注意力增强的模态特征加权组合得到自适应融合特征。
4.根据权利要求1所述的方法,其特征在于,利用对比学习损失函数基于自适应融合特征进行优化,构建跨模态相似度矩阵,包括:
对所述自适应融合特征进行数据增强处理生成正样本对,从同一批次的所述自适应融合特征中随机采样得到负样本对;基于所述正样本对和所述负样本对构建单模态对比损失;构建模态对齐损失和模态对比损失,所述模态对齐损失通过最小化同一自适应融合特征在不同模态下的特征距离实现特征对齐,所述模态对比损失通过增大不同自适应融合特征间的特征距离实现特征判别,得到优化后的判别特征;
基于所述优化后的判别特征的空间局部密度为每个查询样本构建动态邻域;在所述动态邻域内通过注意力机制计算样本与邻域内其他样本的相关性权重得到邻域注意力权重;计算样本对在所述优化后的判别特征空间中的余弦相似度作为初始相似度;
构建图注意力网络,将所述邻域注意力权重和所述初始相似度输入所述图注意力网络进行特征传播和聚合,得到融合局部结构信息的相似度表示;对所述相似度表示进行迭代更新得到最终相似度,基于所有样本对的最终相似度构建跨模态相似度矩阵,所述构建跨模态相似度矩阵包括直接相似关系和基于局部结构的间接相似性信息。
5.根据权利要求4所述的方法,其特征在于,构建图注意力网络,包括:
将输入样本构建为图结构,所述图结构中的节点表示样本特征,边表示样本间的关联强度;基于预先获取的邻域注意力权重构建图的邻接矩阵,每个节点与其动态邻域内的节点建立连接关系;通过多头注意力机制将所述节点特征映射至多个语义子空间,每个语义子空间用于独立学习特征关联模式;
对于所述图结构中的节点对,将节点特征输入权重矩阵进行线性变换得到查询向量和键向量,所述查询向量用于表征目标节点的特征查询信息,所述键向量用于表征源节点的特征响应信息;将所述查询向量与所述键向量进行矩阵乘法运算得到原始注意力分数;将所述原始注意力分数与预先计算的邻域注意力权重进行逐元素相乘得到局部结构约束分数;对所述局部结构约束分数通过带有负斜率的激活函数进行非线性变换,并利用函数进行归一化处理得到节点对之间的注意力系数;
基于所述注意力系数构建加权矩阵,将所述加权矩阵与节点的邻域特征进行矩阵乘法运算得到聚合特征;将所述聚合特征与节点原始特征在特征维度上进行拼接,通过多层感知机进行非线性特征变换得到初步更新特征;将所述初步更新特征与节点原始特征进行残差连接,并通过层归一化网络调整特征分布得到标准化特征;对所述标准化特征通过自适应门控机制选择性保留原始特征和更新特征的有效信息,得到融合局部结构信息的相似度表示。
6.根据权利要求1所述的方法,其特征在于,利用所述多层级筛选模型,基于所述跨模态相似度矩阵对所述目标文本进行分层筛选,得到目标候选文本集合,包括:对跨模态相似度矩阵进行双向归一化处理,所述双向归一化处理包括对行向量进行归一化和对列向量应用归一化函数,得到初步归一化的相似度矩阵;计算每个文本与其近邻的K个平均相似度作为局部相似度特征,基于所述局部相似度特征对所述初步归一化的相似度矩阵进行加权调整,得到强化局部结构的相似度矩阵;
将所述强化局部结构的相似度矩阵映射到低维空间并进行产品量化离散化处理,构建多层索引树结构;基于所述多层索引树结构设置自适应搜索半径,在所述自适应搜索半径范围内进行近似最近邻搜索,并记录搜索路径信息,得到初筛候选文本;对所述初筛候选文本在多个语义层次提取特征并计算特征相似度得分,将所述特征相似度得分与所述搜索路径信息进行融合得到多维度评估指标;基于所述多维度评估指标构建加权排序模型,对所述初筛候选文本进行重排序,得到重排序候选文本;
统计所述重排序候选文本的相似度分布特征,基于所述相似度分布特征自适应调整筛选阈值;计算所述重排序候选文本之间的相似度,基于最大边际相关算法对所述重排序候选文本进行多样性约束,得到中间候选文本集合;基于多个模态的特征一致性计算所述中间候选文本集合中各候选文本的置信度分数;将所述置信度分数高于预设阈值的候选文本优先保留,得到目标候选文本集合。
7.根据权利要求1所述的方法,其特征在于,采用多任务学习框架对所述文本关系图进行文本聚类和关系预测,生成结构化的查询报告,包括:
对所述文本节点进行词级特征提取、句级特征提取和文档级特征提取,得到词级特征、句级特征和文档级特征;将所述词级特征、所述句级特征和所述文档级特征进行加权融合,得到文本节点特征;基于所述文本节点特征,采用双向特征传播对所述关系边进行特征提取,得到初始关系边特征;根据所述初始关系边特征计算信息聚合权重,对所述初始关系边特征进行加权聚合,得到优化后的关系边特征;
将所述文本节点特征和所述优化后的关系边特征输入多任务学习框架,所述多任务学习框架包括文本聚类子任务和关系预测子任务;针对所述文本聚类子任务,基于所述文本节点特征计算节点间相似度矩阵;针对所述关系预测子任务,基于所述优化后的关系边特征计算边特征向量;基于所述节点间相似度矩阵计算样本到聚类中心的概率分布,并结合所述文本关系图的图结构信息构建距离度量函数;根据所述距离度量函数和所述概率分布对所述文本节点进行聚类,得到文本聚类结果;
基于所述边特征向量从语义维度、结构维度和时序维度构建关系特征表示,采用多头注意力机制对所述关系特征表示进行融合;根据融合后的关系特征表示生成关系预测结果;将所述文本聚类结果组织为主题层次结构,将所述关系预测结果作为为实体关系结构;基于所述主题层次结构和所述实体关系结构生成结构化查询报告。
8.基于跨模态相似度文本挖掘数据查询系统,用于实现前述权利要求1-7中任一项所述的方法,其特征在于,包括:
第一单元,用于获取待查询文本和预设文本库中的目标文本,所述目标文本包括图像特征数据和时序关系数据;构建多层级特征提取网络,所述多层级特征提取网络包括文本特征提取模块、图像特征提取模块以及时序特征提取模块;将所述待查询文本输入所述文本特征提取模块得到文本多维特征向量,将所述图像特征数据输入所述图像特征提取模块得到图像多维特征向量,将所述时序关系数据输入所述时序特征提取模块得到时序多维特征向量;
第二单元,用于构建自适应跨模态对比学习网络,所述自适应跨模态对比学习网络包括特征融合子网络和动态权重调整模块;将所述文本多维特征向量、所述图像多维特征向量和所述时序多维特征向量输入所述特征融合子网络,通过所述动态权重调整模块对不同模态特征进行融合映射,得到自适应融合特征;利用对比学习损失函数基于自适应融合特征进行优化,构建跨模态相似度矩阵;
第三单元,用于构建多层级筛选模型,所述多层级筛选模型包括粗粒度过滤层和细粒度评估层;利用所述多层级筛选模型,基于所述跨模态相似度矩阵对所述目标文本进行分层筛选,得到目标候选文本集合;利用图神经网络构建文本关系推理模块,基于所述目标候选文本集合建立文本关系图;采用多任务学习框架对所述文本关系图进行文本聚类和关系预测,生成结构化的查询报告。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。