欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021108550635
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种药品说明书文本命名实体识别建模方法,其特征在于,包括:步骤1:使用BERT模型将药品说明书文本语句序列S=(x1,x2,...,xn)向量化,得到带有上下文信息及文本语义信息的特征向量W=(w1,w2,...,wn);其中,wi是语句序列S中文字xi上下文相关的动态特征向量,其维度为d;i∈{1,2,3,...,n};

步骤2:使用双向长短期记忆网络BiLSTM从特征向量W中学习到药品说明书文本的上下文信息,得到隐藏向量H,具体为:

所述BiLSTM分别由一个前向LSTM网络和一个后向LSTM网络从特征向量W中学习药品说明书文本的上文信息和下文信息,得到其隐藏层状态输出 和其中, 和 分别表示前向LSTM网络和后向LSTM网络在t时刻的隐藏层状态输出,t∈{1,2,3,...,n};

BiLSTM通过将前向LSTM网络和后向LSTM网络的隐藏层状态输出拼接得到语句的隐藏向量H=(h1,h2,...,hn),其中在t时刻的隐藏层状态输出为: ht的维度为dh;

步骤3:使用全连接层FC将隐层向量H进行降维,得到标签特征向量M=H·WFC+BFC;其中,WFC和BFC分别为全连接层FC的权重矩阵和偏置向量,WFC的维度为dh×dl,BFC的维度为dl,dl为实体标签的数量;所述实体标签是对语句序列的文字的标注;

步骤4:利用条件随机场CRF对标签特征向量M进行解码,得到语句序列S最终的输出序*

列Y,具体为:

通过得到的语句的标签特征向量M=(m1,m2,...,mn),计算可能的输出标签序列Y的条件概率:p(Y|M)=CRF(M,Y);其中Y∈YS,YS表示语句序列S所有可能的输出标签序列集合;

*

将条件概率最大的输出标签序列Y作为语句序列S最终的输出序列:*

Y=argmaxP(Y|M)。

2.根据权利要求1所述药品说明书文本命名实体识别建模方法,其特征在于,所述BERT模型为微调后的BERT模型;所述微调后的BERT模型通过以下步骤建模,再经训练后得到;

步骤1:使用BERT模型将药品说明书文本语句序列X=(x1,x2,...,xm)向量化,得到带有上下文信息及文本语义信息的特征向量WFT=(w1,w2,...,wm);其中wj是语句序列X中文字xj上下文相关的动态特征向量,其维度为d;j∈{1,2,3,......,m};

步骤2:使用全连接层FC将特征向量WFT进行降维,得到标签特征向量其中, 和 分别为全连接层FC的权重矩阵和偏置向量,的维度为d×dl, 的维度为dl,dl为实体标签的数量;所述实体标签是对语句序列的文字的标注;

步骤3:将标签特征向量MFT输入到Softmax网络,得到语句序列X的标签预测信息L:L=softmax(MFT)=(l1,l2,...,ln),其中li表示语句序列X中文字xj对应的标签的归一化概率值;

步骤4:使用交叉熵函数计算标签预测信息L和真实标签LT之间的损失值,使用反向传播算法迭代更新BERT模型的权重直至损失值收敛,得到微调后的BERT模型。