欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020105568810
申请人: 北京工业大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-04-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于句法依存关系的命名实体识别方法,其特征在于,包括如下步骤:步骤S1,在模型训练阶段,首先用预训练过的Word2vec把one-hot单词向量映射到定义好的低维空间,得到每个单词的词向量;

步骤S2,使用双向长短期记忆网络对句子中每个时间步的词向量分别进行前向和后向的编码,并拼接得到拥有上下文信息的全局特征;

步骤S3,用句法分析技术得到每个句子的句法依存树,计算树上两两单词之间的最短依赖路径;

步骤S4,根据最短依赖路径得到每个单词的自顶向下以及自底向上的特征序列并输入LSTM网络,计算得到单词局部特征;

步骤S5,通过局部特征点积来计算两两单词之间的关系权重并进行归一化;

步骤S6,使用自注意力机制以归一化的关系权重将单词之间的局部关系特征融入全局特征中,得到融合特征;

步骤S7,根据融合特征初步预测序列标签,使用CRF对预测序列进行精修,得到最终标签序列;

步骤S8,在模型测试阶段,使用上述步骤训练好的网络来进行命名实体识别。

2.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S1中在模型训练阶段,首先用预训练过的Word2vec把one-hot单词向量映射到定义好的低维空间,得到每个单词的词向量包括:记词典大小为V,采用预训练过的Word2vec把维度为V的one-hot单词向量映射到定义好的低维空间,输出的词向量维度记为d;具体的,对于长度为T的输入样本序列{w1,...,wt,...wT},其中wt∈R1×V,嵌入层的输出记为{x1,...,xt,...xT},其中xt∈R1×d。

3.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S2中使用双向长短期记忆网络(Bi-LSTM)对句子中每个时间步的词向量分别进行前向和后向的编码,并拼接得到拥有上下文信息的全局特征包括:使用隐藏单元的个数为h1的双向长短期记忆网络(Bi-LSTM1)对给定时间步t的输入xt进行前向和后向的编码,并将该时间步正向隐藏状态记为 反向隐藏状态记为然后 ,连 结两 个方向 的隐 藏状 态 和 来得 到隐 藏状 态便是拥有给定时间步t上下文信息的全局特征,对于输入序列{x1,x2,...xT},记Bi-LSTM1的输出特征为

4.根据权利要求3所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S3中用句法分析技术得到每个句子的句法依存树,计算树上两两单词之间的最短依赖路径包括:对于输入样本序列{w1,w2,...wT},使用依存语法分析技术对其进行句法分析,得到样本序列的依存句法树;对于输入序列中任意两个单词a与b,他们之间的最短依存路径(SDP)为{a,a1,...,am,c,bn,...,b1,b},其中c表示它们在依存句法树中的最低共同祖先,a1,...,am表示SDP上a和c之间的单词,b1,...,bn表示b和c之间的单词;若a与b表示同一个单词,则SDP记为{a,b}。

5.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S4中根据最短依赖路径得到每个单词的自顶向下以及自底向上的特征序列并输入LSTM网络,计算得到单词局部特征包括:对于输入文本序列{w1,w2,...wT}中任意两个单词a与b,他们之间的最短依存路径(SDP)分为两部分:自底向上的序列{a,a1,...,am,c}和{b,b1,...,bn,c};自顶向下序列{c,am,...,a1,a}和{c,bn,...,b1,b};若a与b表示同一个单词,则SDP分为:{a};{b}两部分;

使用隐藏单元的个数为h2的双向长短期记忆网络(Bi-LSTM2)从这两种序列中提取单词之间的局部关系特征;每个LSTM2单元的输入是两个部分的串联,由表示,其中 是单词wt在Bi-LSTM1的输出,emb(dt)表示单词wt及其依存句法树上的支配词之间的依存关系类型dt的分布式表达;

前向LSTM2根据自底向上的序列{a,a1,...,am,c}和{b,b1,...,bn,c}计算得到前向隐藏状态 和 后向LSTM2根据自顶向下序列{c,am,...,a1,a}和{c,bn,...,b1,b}计算得到后向隐藏状态 和 连结两个方向的隐藏状态↑ht和↓ht来得到单词wt的局部特征

6.根据权利要求5所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S5中通过局部特征点积来计算两两单词之间的关系权重并进行归一化包括:对局部特征 与局部特征 做点积,得到单词wi与单词wj的关系紧密系数按照相同的方法计算得到文本序列中两两单词之间的关系紧密系数,将所有关系紧密系数整理为一个矩阵R∈RT×T,其中矩阵的第i行代表单词wi与{w1,w2,...wT}中每一个单词的关系紧密系数,然后按行对R进行归一化得到自注意力权重矩阵Q=Softmax(R)。

7.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S6中使用自注意力机制以归一化的关系权重将单词之间的局部关系特征融入全局特征中,得到融合特征包括:首先对Bi-LSTM1输出的全局特征 做一个线性变换,并左乘归一化自注意力权重矩阵Q得到实体边界信息增强的单词特征

S=QH1Wv

T×s

S∈R ,其中s为融合特征的长度, 为线性变换参数矩阵。

8.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S7中根据融合特征初步预测序列标签,使用CRF对预测序列进行精修,得到最终标签序列包括:使用融合特征S进行序列标签预测,通过CRF将初步预测的标签序列进行调整,得到最终标签序列。

9.根据权利要求1所述的基于句法依存关系的命名实体识别方法,其特征在于,所述步骤S8中在模型测试阶段,使用上述步骤训练好的网络来进行命名实体识别包括:使用监督文本训练好网络参数之后,在测试阶段,使用该网络来对命名实体的类别和边界进行识别。