欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101144034
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于词语义关系与动态卷积神经网络的文本蕴含分析方法,其特征在于包括如下步骤:步骤1、对需要进行文本蕴含分析的语料进行初步的数据预处理,使用ConceptNet获取词语义关系,将词语义关系嵌入到数据预处理后的词向量中;

步骤2、对嵌入词语义关系的词向量进行卷积操作,生成文本蕴含所需要的语义特征图;

步骤3、对于卷积生成的语义特征图,使用动态k-max池化获取句子特征向量;

步骤4、对两个句子分别重复步骤1-步骤3,生成两个句子特征向量,最后通过蕴含分类器输出最后文本蕴含分析的结果。

2.根据权利要求1所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法,其特征在于步骤1具体实现如下:

1-1对于需要进行文本蕴含分析的语料,将前提句的文本数据使用GloVe词向量模型转换成向量的表示P,P={p1,p2,...,pn},其中pi为第i个词的词向量表示形式,n为句子的长度;所述前提句与假设句的处理方式一致;

1-2将前提句和假设句的词向量进行关联建模,生成词的权重向量,其目的是让对推理有利的词获得更好的关系向量;其公式如下所示,f(pi,qj)=W1(pi)Tqj+b1

其中W1和b1是可学习的参数,pi,qj分别为前提句的第i个词的词向量和假设句的第j个词的词向量,aij为前提句的词权重向量;

1-3利用词权重向量,将ConceptNet生成的初始词关系向量处理成词语义关系向量;其公式如下所示,其中,p′i为前提句第i个词的词语义关系向量,rij为使用ConceptNet生成的前提句第i个词与假设句第j个词的词关系;

1-4将词语义关系向量嵌入到原本的词向量中,W=((p1,p′1),(p2,p′2),...,(pn,p′n)),其中W为前提句新的词向量矩阵。

3.根据权利要求2所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法,其特征在于步骤2具体实现如下:

2-1.对句子的词向量矩阵进行卷积操作,使用长度为5的滤波器对句子的词向量矩阵做滤波,同时采用补零法,在滤波器滤波过程中将落在词向量矩阵之外的元素都默认为零,虽然会使得输出特征图的宽度更宽,但是能更加有效的提取句子的句首和句尾信息,其公式如下所示,C={k1,k2,..,ki,..,kf,W,k1,k2,..,ki,..,kf}其中,ki为零向量,f为滤波器长度,W为前提句新的词向量矩阵,C为补零后的句子的词向量矩阵;

2-2.对补零后的句子的词向量矩阵,使用长度为5的滤波器滤波,提取语义特征图S,其公式如下:其中si为卷积后的语义特征图中第i个特征, 为可训练的卷积权重,b为偏差;ci为词向量矩阵C中的第i个词向量表示形式。

4.根据权利要求3所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法,其特征在于步骤3对于卷积生成的语义特征图,使用动态k-max池化获取句子特征向量,具体实现如下:

3-1.为了获得卷积生成的语义特征图中的重要特征,同时降低维度,对滤波器滤波的一个语义特征图取前k个最大特征值,将其组成子序列,并保持原来语义特征图序列的次序,根据网络的总共卷积层层数,当前输入句子的长度,从不同长度的句子中提取相应数量的语义特征信息;选取特征值数量的动态调整公式如下其中ktop为卷积池化层的层数,其层数为3,n为输入的句子长度,L是网络总共卷积层数,l为当前卷积的层数。

5.根据权利要求4所述的基于词语义关系与动态卷积神经网络的文本蕴含分析方法,其特征在于步骤4具体实现如下:将前提句与假设句卷积池化后生成的句子向量表示,通过连接u、v、u-v、u⊙v生成句子关系的表示,其中u为前提句的句子特征向量,v为假设句的句子特征向量;再将句子关系的表示利用300D的全连接层和3-类softmax输出层,输出最后文本蕴含的结果。