1.一种药品说明书文本命名实体识别建模方法,其特征在于,包括:步骤1:使用BERT模型将药品说明书文本语句序列S=(x1,x2,...,xn)向量化,得到带有上下文信息及文本语义信息的特征向量W=(w1,w2,...,wn);其中,wi是语句序列S中文字xi上下文相关的动态特征向量,其维度为d;i∈{1,2,3,...,n};
步骤2:使用双向长短期记忆网络BiLSTM从特征向量W中学习到药品说明书文本的上下文信息,得到隐藏向量H,具体为:
所述BiLSTM分别由一个前向LSTM网络和一个后向LSTM网络从特征向量W中学习药品说明书文本的上文信息和下文信息,得到其隐藏层状态输出 和其中, 和 分别表示前向LSTM网络和后向LSTM网络在t时刻的隐藏层状态输出,t∈{1,2,3,...,n};
BiLSTM通过将前向LSTM网络和后向LSTM网络的隐藏层状态输出拼接得到语句的隐藏向量H=(h1,h2,...,hn),其中在t时刻的隐藏层状态输出为: ht的维度为dh;
步骤3:使用全连接层FC将隐层向量H进行降维,得到标签特征向量M=H·WFC+BFC;其中,WFC和BFC分别为全连接层FC的权重矩阵和偏置向量,WFC的维度为dh×dl,BFC的维度为dl,dl为实体标签的数量;所述实体标签是对语句序列的文字的标注;
步骤4:利用条件随机场CRF对标签特征向量M进行解码,得到语句序列S最终的输出序*
列Y,具体为:
通过得到的语句的标签特征向量M=(m1,m2,...,mn),计算可能的输出标签序列Y的条件概率:p(Y|M)=CRF(M,Y);其中Y∈YS,YS表示语句序列S所有可能的输出标签序列集合;
*
将条件概率最大的输出标签序列Y作为语句序列S最终的输出序列:*
Y=argmaxP(Y|M)。
2.根据权利要求1所述药品说明书文本命名实体识别建模方法,其特征在于,所述BERT模型为微调后的BERT模型;所述微调后的BERT模型通过以下步骤建模,再经训练后得到;
步骤1:使用BERT模型将药品说明书文本语句序列X=(x1,x2,...,xm)向量化,得到带有上下文信息及文本语义信息的特征向量WFT=(w1,w2,...,wm);其中wj是语句序列X中文字xj上下文相关的动态特征向量,其维度为d;j∈{1,2,3,......,m};
步骤2:使用全连接层FC将特征向量WFT进行降维,得到标签特征向量其中, 和 分别为全连接层FC的权重矩阵和偏置向量,的维度为d×dl, 的维度为dl,dl为实体标签的数量;所述实体标签是对语句序列的文字的标注;
步骤3:将标签特征向量MFT输入到Softmax网络,得到语句序列X的标签预测信息L:L=softmax(MFT)=(l1,l2,...,ln),其中li表示语句序列X中文字xj对应的标签的归一化概率值;
步骤4:使用交叉熵函数计算标签预测信息L和真实标签LT之间的损失值,使用反向传播算法迭代更新BERT模型的权重直至损失值收敛,得到微调后的BERT模型。