欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019102119060
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种考虑主题的机器阅读理解模型生成方法,其特征在于,包含如下步骤:

S1、获取训练所需的阅读理解数据集,所述阅读理解数据集包含多篇阅读理解,每篇阅读理解作为一个样本由正文、问题及答案三部分组成;

S2、对每篇阅读理解样本分别进行预处理,对单篇阅读理解的训练样本进行预处理的方法为下述任意一种:(1)对样本中的正文进行选择,选取与样本中问题部分更相关的段落;从选取的段落中选取与问题更相关的核心句;

(2)采用语义解析法对问题与正文做预处理,得到语义解析后的词作为核心词;

S3、对预处理选出的核心词或核心句进行向量表示,同时对于每一样本:将核心句的向量表示与问题的向量表示进行加权平均或者是将正文的核心词的向量表示与问题的核心词的向量表示进行加权平均,得到一个能代表这个样本主题的向量表示;其中,在加权平均时,问题的向量表示相对于核心句的向量表示拥有更大的权重,问题的核心词的向量表示相对于正文的核心词的向量表示拥有更大的权重;

S4、将得到的所有的阅读理解的样本主题的向量表示进行聚类,类别的数量由对数据集的了解来决定,聚类后将同类向量求平均,得到的向量称为主题向量,多个聚类中心代表多类主题;

S5、利用所述阅读理解数据集进行常规的机器阅读理解训练,但在推理层和输出层给予与聚类后的主题向量相似度更高的词更高的权重,从而生成一种主题对应的机器阅读理解模型用以进行待处理的阅读理解。

2.根据权利要求1所述的考虑主题的机器阅读理解模型生成方法,其特征在于,步骤S1中,训练所需的阅读理解数据集为span式答案抽取的阅读理解数据集,语种为中文或英文;

正文、问题及答案指的是在一个机器阅读理解任务中,机器首先需要阅读正文文章,在此基础上阅读问题并对问题做回答,答案为训练数据给出的标准答案;正文为单段落或者为多段落,答案的抽取模式为以首尾词定位段落中的一个区域,将这个区域中的句子作为答案。

3.根据权利要求1所述的考虑主题的机器阅读理解模型生成方法,其特征在于,步骤S2中第(1)种方案,若一篇阅读理解的正文为多段落,则通过设定的最大段落数K,按顺序保留正文的前K段作为有效文本,其他的丢弃;然后计算有效文件中的各个段落与问题的BLEU-4分数,从中选出BLEU-4分数较高的多个段落作为与问题更相关的段落,对于选出的各个段落以及对于一篇阅读理解的正文为单段落时,计算一个段落中各个语句与问题的BLEU-4分数,从中选出BLEU-4分数较高的多个语句作为该段落中与问题更相关的核心句。

4.根据权利要求1所述的考虑主题的机器阅读理解模型生成方法,其特征在于,步骤S3中进行加权平均的实现方式具体为:对于核心词的方式:将核心词的词向量直接进行加权平均;

对于核心句的方式:使用双向循环神经网络将问题句子与正文核心句进行编码,将首尾位置输出的隐藏层向量拼接,再对这些向量进行加权平均得到最终的向量表示。

5.根据权利要求1所述的考虑主题的机器阅读理解模型生成方法,其特征在于,步骤S4还包括降维处理,具体为:将得到的所有的阅读理解的主题的向量表示进行聚类,由于拼接后的维度可能较高,所以对聚类结果进行降维,以使得聚类后得到的主题向量表示的维度可以与单词的向量进行相似度计算。

6.根据权利要求1所述的考虑主题的机器阅读理解模型生成方法,其特征在于,步骤S5中常规的机器阅读理解训练所采用的训练系统包括:嵌入层:采用的是在外部数据上预训练的词向量,或者是基于循环神经网络或者卷积神经网络的从字符到单词的词向量,得到问题和正文段落里面每个单词的上下文无关的表示,将得到的词向量作为训练的输入;

编码层:采用多层的双向循环神经网络得到问题和正文段落的每个词的上下文相关的表示;

预处理层:将嵌入层得到的词向量用于核心词的向量运算;将编码层得到的上下文表示中的首位和尾部的向量表示拼接后作为核心句的向量表示;

主题生成层:若是使用核心词向量,将所有的核心词向量加权平均后作为当前样本的向量表示,接着将所有样本的向量表示聚类,同类向量求得的平均值作为主题向量;若是使用核心句向量,将问题句子与正文核心句进行编码,将首尾位置输出的隐藏层向量拼接,再对这些向量进行加权平均得到最终的向量表示将所有核心句的向量表示,然后聚类并且降维,同类向量求得的平均值作为主题向量;

匹配层:得到问题里面的词和正文段落词之间的对应关系,具体是采用注意力的机制实现,得到正文里面每个词的和问题相关的表示;并且,在本层加入了主题向量和段落词之间的对应关系,同样采用注意力机制实现,得到每个词和主题相关的表示,接下来采取以下任意一种方法利用这些信息:(1)将问题向量与主题向量拼接后一同与段落向量做注意力机制的加权运算;

(2)分别将问题和主题向量与段落向量做注意力机制的加权运算,再求平均;

自匹配层:在得到与问题及主题相关的词表示的基础上再采用self-attention的机制进一步完善文章段落中的词的表示;

输出层:对正文段落里面的每个词预测其是答案开始以及答案结束的概率,从而计算文章段落中答案概率最大的子串输出为答案;

其中,在匹配层中将主题向量考虑进去,具体的方法为:对问题和主题与段落一同做两次attention加权表示,将主题向量与问题向量拼接在一起一同与段落做attention加权表示。

7.根据权利要求5所述的考虑主题的机器阅读理解模型生成方法,其特征在于,嵌入层中,将得到的词向量作为训练的输入具体为:将得到的词向量和得到一些特征一起作为训练的输入。

8.一种考虑主题的机器阅读理解模型生成系统,其特征在于,其特征在于,采用如权利要求1-7任一项所述的考虑主题的机器阅读理解模型生成方法进行机器阅读理解模型的生成。