1.基于语义关联的多模态数据检索方法,其特征在于,包括以下步骤:S100、采集基于语义关联的多模态数据检索系统运行时的多项数据信息,多项数据信息包括模态数据信息和检索评价指标信息,采集后,将模态数据信息和检索评价指标信息进行处理;
模态数据信息包括模态样本数据量平衡系数和模态数据量相似程度异常系数,采集MT MT后,将模态样本数据量平衡系数和模态数据量相似程度异常系数分别标定为PH 和XS ,检索评价指标信息包括检索召回率异常隐匿系数,采集后,将检索召回率异常隐匿系数标定YC为JS ;
模态样本数据量平衡系数获取的逻辑如下:
S101、获取多模态数据检索系统运行过程中在同一时刻下不同模态内的样本数据量,SJ并将样本数据量标定为β x,x表示多模态数据检索系统运行过程中在同一时刻下不同模态内的模态的编号,x=1、2、3、4、……、m,m为正整数;
S102、计算多模态数据检索系统运行过程中在同一时刻下不同模态内的样本数据量的标准差,并将样本数据量标准差标定为R,则:,
其中, 为多模态数据检索系统运行过程中在同一时刻下不同模态内的样本数据量的平均值,获取的计算公式为:S103、获取多模态数据检索系统在T时间内不同时刻运行时生成的样本数据量标准差,并将样本数据量标准差重新标定为Ry,y表示多模态数据检索系统在T时间内不同时刻运行时生成的样本数据量标准差的编号,y=1、2、3、4、……、n,n为正整数;
S104、将多模态数据检索系统运行T时间内生成的样本数据量标准差建立数据集合,将数据集合内的样本数据量标准差按照顺序排序,并将数据集合内最大的样本数据量标准差标定为Rmax;
S105、通过数据集合内最大的样本数据量标准差Rmax计算模态样本数据量平衡系数,计算的表达式为:模态数据量相似程度异常系数获取的逻辑如下:
S201、将所有模态数据转换为向量表示;
S202、对每个向量进行归一化处理,确保不同模态的数据在距离计算中具有相同的权重,使不同模态的数据具有单位范数;
S203、对于每个模态,计算模态的内部欧氏距离;
对于第i个模态,假设它的向量表示为Aiv,则欧氏距离计算公式为:其中,Aiv'是Aiv与对应的其他向量,v表示第i个模态在相同维度上的对应元素的编号,v=1、2、3、4、……、p,p为正整数;
S204、获取多模态数据检索系统每个模态在T时间内不同时刻的内部欧氏距离,并将内部欧氏距离标定为Distancej,j表示多模态数据检索系统每个模态在T时间内不同时刻的内部欧氏距离的编号,j=1、2、3、4、……、q,q为正整数;
S205、将多模态数据检索系统每个模态在T时间内的内部欧氏距离建立数据集合,将数据集合内的内部欧氏距离按照顺序排序,并将每个模态内最大的内部欧氏距离标定为最大Distance ;
S206、计算模态数据量相似程度异常系数,计算的表达式为:式中,x表示多模态数据检索系统的模态的编号,x=1、2、3、4、……、m,m为正整数;
检索召回率异常隐匿系数获取的逻辑如下:
S301、获取多模态数据检索系统的最佳检索召回率范围,并将最佳检索召回率范围标ZH ZH定为γ min~γ max;
S302、获取多模态数据检索系统在T时间内不同时段的检索召回率,并将检索召回率标ZH定为γ r,r表示多模态数据检索系统在T时间内不同时段的检索召回率的编号,r=1、2、3、
4、……、a,a为正整数;
召回率的计算公式如下:召回率=检索到的相关数据数量/所有相关数据的总数量;
ZH ZH ZH
S303、将小于最佳检索召回率范围γ min~γ max的检索召回率标定为γ u,u表示小于ZH ZH最佳检索召回率范围γ min~γ max的检索召回率的编号,u=1、2、3、4、……、e,e为正整数;
S3 0 4 、计 算 检索 召 回率 异 常隐 匿 系数 ,计 算的 表 达式 为 :其中,
S200、将多模态数据检索系统运行过程中经过处理后的模态数据信息和检索评价指标信息进行综合分析,生成准确度评估指数;
MT MT
获取到模态样本数据量平衡系数PH 、模态数据量相似程度异常系数XS 以及检索召回YC zqd率异常隐匿系数JS 后,建立评估模型,生成准确度评估指数θ w,依据的公式为:,
MT
式中,x1、x2、x3分别为模态样本数据量平衡系数PH 、模态数据量相似程度异常系数MT YCXS 以及检索召回率异常隐匿系数JS 的预设比例系数,且x1、x2、x3均大于0;
S300、将多模态数据检索系统运行时生成的若干个准确度评估指数建立数据集合,对数据集合内的准确度评估指数进行综合分析,生成运行状态信号;
将多模态数据检索系统运行时生成的若干个准确度评估指数建立数据集合,并将数据zqd zqd zqd zqd集合标定为F,则F={θ w}={θ 1、θ 2、…、θ s},w=1、2、3、4、……、s,s为正整数;
求出数据集合内若干个准确度评估指数的平均值和标准差,将准确度评估指数平均值和准确度评估指数标准差分别标定为P1和P2,并将准确度评估指数平均值P1和准确度评估指数标准差P2分别与预先设定的准确度评估指数参考阈值K1和预先设定的标准差参考阈值K2进行比对,生成如下情况:若P1大于等于K1,则生成第一运行状态信号;
若P1小于K1且P2大于等于K2,则生成第二运行状态信号;
若P1小于K1且P2小于K2,则生成第三运行状态信号;
S400、对多模态数据检索系统运行时生成的运行状态信号分别发出不同的提示。
2.根据权利要求1所述的基于语义关联的多模态数据检索方法,其特征在于,获取到第一运行状态信号时,发出一级准确度预警提示,提示相关维护人员多模态数据检索系统运行时,语义关联建模时的准确性差,需要对多模态数据检索系统进行及时维护和优化;
获取到第二运行状态信号时,发出二级准确度预警提示,提示相关维护人员多模态数据检索系统运行时,语义关联建模时的准确性时而好时而差,运行状态极不稳定,需要对多模态数据检索系统进行及时维护和优化;
获取到第三运行状态信号时,不发出预警提示。