欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202110134242X
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-14
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合中心词信息的嵌套命名实体识别方法,其特征在于,用于通过融合了中心词信息的基于多任务学习的边界检测神经网络模型以及中心词增强的类别预测神经网络模型实现,所述方法包括如下步骤:步骤一:以标注了嵌套实体信息以及中心词信息的语句作为训练语句,其中所述嵌套实体信息为所述训练语句中各实体的位置及类别,所述中心词信息为各所述实体中的核心词;

步骤二:构建基于多任务学习的边界检测神经网络模型,引入中心词预测任务作为辅助任务,基于所述训练语句中的每个词在上下文中的向量表示,分别进行首词预测、尾词预测以及中心词预测以分别得到首词预测结果、尾词预测结果以及中心词预测结果;

步骤三:根据所述首词预测结果以及所述尾词预测结果,以筛选出存在实体概率的候选文本片段集;

步骤四:构建中心词增强的类别预测神经网络模型,以所述候选文本片段集以及所述中心词预测结果作为输入,计算得到每个候选文本片段本身的向量表示以及每个所述候选文本片段在上下文中的向量表示,进而计算得到每个所述候选文本片段对应的类别预测结果。

2.根据权利要求1所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,在所述步骤一中,所述训练语句表示为:其中, 表示所述训练语句中所包含的词的数量;

对所述训练语句中的第 个词,其作为首词时对应的真实标记表示为 ,作为尾词时对应的真实标记表示为 ,作为实体中心词时对应的真实标记表示为 ;

对所述训练语句中的文本片段 ,其作为真实实体类别标记时表示为 , 为所述训练语句中的第 个词,其中 和 分别表示所述训练语句中的第 个词和第 个词。

3.根据权利要求2所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,在所述步骤二中,所述首词预测结果表示为:所述尾词预测结果表示为:

所述中心词预测结果表示为:

其中, 为第 个词在上下文中的向量表示, 为sigmoid函数,  为首词预测任务中分类子层的参数, 为第 个词是实体首词的概率, 为尾词预测任务中分类子层的参数, 为第 个词是实体尾词的概率;

为中心词预测结果,softmax为计算概率的归一化指数函数, 为用于中心词预测任务的分类子层的参数,向量 中的前 维为第 个词是对应实体类别的中心词的概率,最后1维为该词不是实体中心词的概率,  指代的为 维的实数向量。

4.根据权利要求3所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,所述基于多任务学习的边界检测神经网络模型训练时的总代价函数为:其中,首词预测任务对应的代价函数表示为:尾词预测任务对应的代价函数表示为:中心词预测任务对应的代价函数为:其中, 表示所述训练语句中所包含的词的数量, 与 分别为 和 的第 个分量, 是一个 维的一维有效编码向量;

取值为1或0,当第 个词为实体首词时取值为1,当第 个词不是实体首词时取值为

0;

取值为1或0,当第 个词为实体尾词时取值为1,当第 个词不是实体尾词时取值为

0。

5.根据权利要求4所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,在所述步骤三中:

对于所述训练语句中任意的从第 个词到第 个词的文本片段 ,若满足以下条件,则加入到实体的侯选文本片段集 中:其中,是一个人为指定的阈值, 。

6.根据权利要求5所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,在所述步骤四中,以所述候选文本片段集以及所述中心词预测结果作为输入表示为:其中, 为所述训练语句中第 个词的词向量, 表示两个向量的拼接操作, 指代的是 维的实数向量,为词向量的维度。

7.根据权利要求5所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,在所述步骤四中,所述候选文本片段对应的类别预测结果表示为:其中, 为侯选文本片段本身的向量表示, 为侯选文本片段在上下文中的向量表示, 与 为网络参数, 为候选文本片段对应的类别预测结果, 等于实体的类别数。

8.根据权利要求3所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,所述训练语句中每个词在上下文中的向量表示为 ;

其中, 为所述训练语句中第 个词的词向量, 表示从左至右建模词的上文信息,  表示从右至左建模词的下文信息, 以及 用于计算两个方向的信息以用作词在上下文中的表示, 表示两个向量的拼接操作,  与 中的起始向量 和 可初始化为零向量, 和 分别为融合了上文信息的第 个词的向量表示和融合了下文信息的第 个词的向量表示,LSTM为长短时记忆网络。

9.根据权利要求8所述的融合中心词信息的嵌套命名实体识别方法,其特征在于,的具体计算公式如下:

其中,  为网络参数, 为sigmoid函数; 分别为输入门、遗忘门和输出门,用于控制信息的流动; 为第 个词对应的记忆状态, 为第个词在上下文中的表示 与第 个词的向量表示 融合后的结果,  为第 个词在上下文中的表示。

10.一种融合中心词信息的嵌套命名实体识别装置,其特征在于,用于通过融合了中心词信息的基于多任务学习的边界检测神经网络模型以及中心词增强的类别预测神经网络模型,所述装置包括:

第一处理模块,用于以标注了嵌套实体信息以及中心词信息的语句作为训练语句,其中所述嵌套实体信息为所述训练语句中各实体的位置及类别,所述中心词信息为各所述实体中的核心词;

第一计算模块,用于构建基于多任务学习的边界检测神经网络模型,引入中心词预测任务作为辅助任务,基于所述训练语句中的每个词在上下文中的向量表示,分别进行首词预测、尾词预测以及中心词预测以分别得到首词预测结果、尾词预测结果以及中心词预测结果;

第二处理模块,用于根据所述首词预测结果以及所述尾词预测结果,以筛选出存在实体概率的候选文本片段集;

第二计算模块,用于构建中心词增强的类别预测神经网络模型,以所述候选文本片段集以及所述中心词预测结果作为输入,计算得到每个候选文本片段本身的向量表示以及每个所述候选文本片段在上下文中的向量表示,进而计算得到每个所述候选文本片段对应的类别预测结果。