欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022100985826
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-14
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种扁平化标记增强的嵌套命名实体识别方法,其中,扁平化标记为基于内层实体优先原则,联合BIO标记及实体类别,为已标注嵌套命名实体的句子中的每个词赋予对应的扁平化标记,其特征在于,所述方法包括如下步骤:步骤一,将对象语句中的每个词转换为词对应的语义向量表示;

步骤二,进一步学习每个词在上下文中的表示,以得到融合上下文信息的词的语义向量表示;

步骤三,对所述对象语句中的每个词分别预测对应的扁平化标记信息;

步骤四,将所述融合上下文信息的词的语义向量表示与所述扁平化标记信息作为输入,学习得到融合扁平化标记信息的词的语义向量表示;

步骤五,基于所述融合扁平化标记信息的词的语义向量表示,对所述对象语句中的所有文本片段进行分类,以确定得到所述文本片段为实体或不为实体对应的概率分布。

2.根据权利要求1所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤一中,所述词对应的语义向量表示包括静态词向量、动态词向量以及词性向量;

其中,包含 个词的对象语句 ,词 对应的语义向量表示为:

其中, 为词 对应的语义向量表示, 为词 对应的静态词向量, 为词 对应的动态词向量, 为词 的词性向量, 为向量的拼接操作,表示对象语句中词的序号。

3.根据权利要求2所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤二中,所述融合上下文信息的词的语义向量表示的生成方法包括如下步骤:根据词的语义向量表示 ,使用长短时记忆网络 从左至右建模以得到融合上文信息的词 的语义向量表示 ,使用长短时记忆网络 从右至左建模以得到融合下文信息的词 的语义向量表示 ;

拼接所述融合上文信息的词 的语义向量表示 与所述融合下文信息的词 的语义向量表示 ,以得到融合上下文信息的词 的语义向量表示 。

4.根据权利要求3所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤二中,存在如下关系式:其中, 为融合上文信息的词 的语义向量表示, 为融合下文信息的词 的语义向量表示, 为融合上文信息的词 的语义向量表示, 为融合下文信息的词 的语义向量表示。

5.根据权利要求3所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤三中,对所述对象语句中的每个词分别预测对应的扁平化标记信息的方法包括如下步骤:

基于所述融合上下文信息的词 的语义向量表示 ,使用softmax层计算词 对应的扁平化标记的概率分布 ;

其中, 和 为扁平化标记预测层的参数;

分别预测得到每个词对应的扁平化标记信息,在预测训练时,将多分类任务的交叉熵代价函数作为扁平化标记预测任务的代价函数,其中代价函数表示为;

其中, 为扁平化标记预测任务的代价函数, 为词 属于第 个扁平化标记的真实概率, 为概率分布 中对应于第 个扁平化标记的预测概率, , 为扁平化标记的数量, 表示扁平化标记的序号。

6.根据权利要求5所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤四中,将所述融合上下文信息的词的语义向量表示与所述扁平化标记信息作为输入,学习得到融合扁平化标记信息的词的语义向量表示的方法包括如下步骤:根据概率分布 中的预测概率与扁平化标记的向量表示进行加权求和,以得到词的扁平化标记信息的向量表示 ;

将所述融合上下文信息的词 的语义向量表示 与所述词 的扁平化标记信息的向量表示 进行拼接,以得到词 的融合标记信息的编码层的输入 ;

根据所述词 的融合标记信息的编码层的输入 ,通过双向长短时记忆网络构建融合标记信息的编码层以得到融合标记信息的词 的语义向量表示 。

7.根据权利要求6所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,在所述步骤四中,词 的扁平化标记信息的向量表示 表示为:其中, 为第 个扁平化标记的向量表示;

词 的融合标记信息的编码层的输入 表示为:其中, 表示向量的拼接操作;

融合标记信息的词 的语义向量表示 的计算过程为:其中, 表示融合上文标记信息的词 的语义向量表示, 表示融合下文标记信息的词 的语义向量表示, 为融合上文标记信息的词 的语义向量表示, 为融合下文标记信息的词 的语义向量表示, 均表示长短时记忆网络。

8.根据权利要求7所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,基于所述融合扁平化标记信息的词的语义向量表示,对所述对象语句中的所有文本片段进行分类,以确定得到所述文本片段为实体或不为实体对应的概率分布的方法包括如下步骤:

基于文本片段的首词与文本片段的尾词计算得到文本片段中间词的权重;

根据所述文本片段中间词的权重计算得到文本片段 的语义向量表示;

基于所述文本片段的语义向量表示,通过softmax层计算所述文本片段为实体或不为实体对应的概率分布 ,其中,也表示对象语句中词的序号。

9.根据权利要求8所述的一种扁平化标记增强的嵌套命名实体识别方法,其特征在于,文本片段 的语义向量表示 的计算过程为:其中, 为融合标记信息的首词 的语义向量表示, 为融合标记信息的尾词 的语义向量表示, 为基于首词 计算的中间词的语义向量表示, 为基于首词 计算的中间词 的权重, 为基于尾词 计算的文本片段中间词的语义向量表示, 为基于尾词 计算的中间词 的权重, 为融合标记信息的中间词 的语义向量表示,为融合标记信息的中间词 的语义向量表示, 为向量的转置操作, 表示向量的拼接操作。

10.一种扁平化标记增强的嵌套命名实体识别系统,其中,扁平化标记为基于内层实体优先原则,联合BIO标记及实体类别,为已标注嵌套命名实体的句子中的每个词赋予对应的扁平化标记,其特征在于,所述系统包括:输入层,用于将对象语句中的每个词转换为词对应的语义向量表示;

上下文编码层,用于进一步学习每个词在上下文中的表示,以得到融合上下文信息的词的语义向量表示;

扁平化标记预测层,用于对所述对象语句中的每个词分别预测对应的扁平化标记信息;

融合标记信息的编码层,用于将所述融合上下文信息的词的语义向量表示与所述扁平化标记信息作为输入,学习得到融合扁平化标记信息的词的语义向量表示;

嵌套命名实体识别层,用于基于所述融合扁平化标记信息的词的语义向量表示,对所述对象语句中的所有文本片段进行分类,以确定得到所述文本片段为实体或不为实体对应的概率分布。