欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021107725543
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-14
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种集成句法信息的嵌套命名实体识别方法,其特征在于,所述方法包括如下步骤:步骤一:抽取给定句子中每个当前词对应的短语句法特征,集合多个所述短语句法特征以得到短语句法信息,其中所述短语句法特征包括:短语句法树中包含当前词的第k个短语的类别、包含当前词的第k个短语在短语句法树中的层级,以及当前词在第k个短语中的位置;

步骤二:以所述短语句法信息作为额外输入,并基于注意力机制构建得到边界检测模型,所述边界检测模型用于筛选出所述给定句子中包含命名实体的文本片段并加入到候选文本片段集中,其中所述边界检测模型包括第一输入层、第一句法信息集成层以及第一分类层;

步骤三:抽取所述给定句子中每个当前词对应的依存句法特征,集合多个所述依存句法特征以得到依存句法信息,所述依存句法特征包括:依存句法树中与当前词相关的第k个依存关系的类别、依存句法树中与当前词相关的第k个依存关系中的另一个词、以及所述当前词是否为该依存关系的核心词;

步骤四:以所述依存句法信息作为额外输入,并基于注意力机制构建得到类别预测模型,所述类别预测模型用于预测所述候选文本片段集中的候选文本片段为特定类别实体的概率以及不是实体的概率,所述类别预测模型包括:第二输入层、第二句法信息集成层、聚合层以及第二分类层。

2.根据权利要求1所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤一中:

所述短语句法特征记为 ,所述短语句法信息记为 ,其中 , 为给定句子中词 的个数, , 为给定句子中包含词 的短语的个数;

所述短语句法特征包括:短语句法树中包含词 的第k个短语的类别、包含词 的第k个短语在短语句法数中的层级,以及词 在第k个短语中的位置。

3.根据权利要求2所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤二中,所述第一输入层用于:将给定句子中的词转换成语义向量表示,具体方法包括如下步骤:基于词向量工具在无标注的文本上预训练好词向量矩阵 ,其中词向量矩阵 中的每一行对应词表中的一个词;

对给定句子中的词 ,从词向量矩阵 中找到对应的行向量,以得到词 的语义向量表示 。

4.根据权利要求3所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤二中,所述第一句法信息集成层用于:根据给定句子中词的语义向量表示,基于transformer网络学习词在上下文中的语义向量表示;

基于注意力机制学习词对应的短语句法信息的语义向量表示;

将词在上下文中的语义向量表示以及词对应的短语句法信息的语义向量表示进行拼接,以得到词最终的语义向量表示;

其中,所述给定句子中词的语义向量表示记为 ,词在上下文中的语义向量表示记为 ;

是一个transformer网络。

5.根据权利要求4所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,所述基于注意力机制学习词对应的短语句法信息的语义向量表示的步骤对应的计算公式为:其中, 为词 在上下文中的语义向量表示, 为词 对应的短语句法信息的语义向量表示, 与 均为短语句法特征 的语义向量表示, 表示词 的第k个短语句法特征对应的权重, 为给定句子中包含词 的短语的个数,表示向量的转置;

将词在上下文中的语义向量表示以及词对应的短语句法信息的语义向量表示进行拼接,以得到词最终的语义向量表示的步骤对应的公式为:为向量的拼接操作, 为词 最终的语义向量表示;

所述第一分类层用于输出词 是实体首词、实体尾词以及其它词的概率,对应的计算公式为:

其中, 由一个多层前馈神经网络叠加一个 层组成; 是一个3维的向量,其中第1个分量 为词 是实体首词的概率,第2个分量 为词 是实体尾词的概率,第3个分量 为词 是其它词的概率。

6.根据权利要求1所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤三中:

所述依存句法特征记为 ,所述依存句法信息记为 ,其中 , 为给定句子中词 的个数, , 为与词 相关的依存关系的个数;

所述依存句法特征 包括:依存句法树中与词 相关的第k个依存关系的类别、依存句法树中与词 相关的第k个依存关系中的另一个词、以及词 是否为该依存关系的核心词的信息。

7.根据权利要求6所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤四中:

所述第二输入层用于:

将给定句子中的词转换成语义向量表示,具体方法包括如下步骤:基于词向量工具在无标注的文本上预训练好词向量矩阵 ,其中词向量矩阵 中的每一行对应词表中的一个词;

对给定句子中的词 ,从词向量矩阵 中找到对应的行向量,以得到词 的语义向量表示 ;

所述第二句法信息集成层用于:根据给定句子中词的语义向量表示,基于transformer网络学习词在上下文中的语义向量表示;

基于注意力机制学习词对应的依存句法信息的语义向量表示;

将词在上下文中的语义向量表示以及词对应的依存句法信息的语义向量表示进行拼接,以得到词最终的语义向量表示;

其中,所述给定句子中词的语义向量表示记为 ,词在上下文中的语义向量表示记为 ;

是一个transformer网络。

8.根据权利要求7所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,所述基于注意力机制学习词对应的依存句法信息的语义向量表示,对应的公式为:其中, 为给定句子中词 在上下文中的语义向量表示, 为词 对应的依存句法信息的语义向量表示, 与 均为依存句法特征 的语义向量表示, 表示第k个依存句法特征的权重, 为与词 相关的依存关系的个数,表示向量的转置;

将词在上下文中的语义向量表示以及词对应的依存句法信息的语义向量表示进行拼接,对应的公式为:

其中, 为词最终的语义向量表示, 为向量的拼接操作。

9.根据权利要求8所述的一种集成句法信息的嵌套命名实体识别方法,其特征在于,在所述步骤四中,

所述聚合层用于基于注意力机制计算候选文本片段的语义向量表示,对应的计算公式如下:

其中, 为候选文本片段 的语义向量表示, 为文本片段中第 个词对应的权重, 与 均为文本片段中第 个词最终的语义向量表示, ,为参数矩阵;

所述第二分类层用于输出候选文本片段 为特定类别实体的概率以及不是实体的概率,计算公式如下:

其中, 由一个多层前馈神经网络叠加一个 层组成; 为一个 维的向量, 的前 个分量分别为候选文本片段 是对应类别实体的概率,最后一个分量为候选文本片段 不是实体的概率。

10.一种集成句法信息的嵌套命名实体识别系统,其特征在于,所述系统包括:第一处理模块,用于抽取给定句子中每个当前词对应的短语句法特征,集合多个所述短语句法特征以得到短语句法信息,其中所述短语句法特征包括:短语句法树中包含当前词的第k个短语的类别、包含当前词的第k个短语在短语句法树中的层级,以及当前词在第k个短语中的位置;

第二处理模块,用于以所述短语句法信息作为额外输入,并基于注意力机制构建得到边界检测模型,所述边界检测模型用于筛选出所述给定句子中包含命名实体的文本片段并加入到候选文本片段集中,其中所述边界检测模型包括第一输入层、第一句法信息集成层以及第一分类层;

第三处理模块,用于抽取所述给定句子中每个当前词对应的依存句法特征,集合多个所述依存句法特征以得到依存句法信息,所述依存句法特征包括:依存句法树中与当前词相关的第k个依存关系的类别、依存句法树中与当前词相关的第k个依存关系中的另一个词、以及所述当前词是否为该依存关系的核心词;

第四处理模块,用于以所述依存句法信息作为额外输入,并基于注意力机制构建得到类别预测模型,所述类别预测模型用于预测所述候选文本片段集中的候选文本片段为特定类别实体的概率以及不是实体的概率,所述类别预测模型包括:第二输入层、第二句法信息集成层、聚合层以及第二分类层。