1.一种细粒度中文命名实体识别方法,其特征在于,包括:S1、基于无标注语料训练BERT中文模型,得到训练好的BERT中文预训练模型;
S2、获取中文细粒度命名实体的语料数据,对所述语料数据做预处理操作后进行命名实体标注,得到中文细粒度命名实体识别数据集;
S3、将所述中文细粒度命名实体识别数据集代入训练好的BERT中文预训练模型中,提取各batch数据的Embedding词向量;
S4、获取特征向量之间深层特征;
S5、获取长文本之间依赖的离散特征;
S6、获取全局最优命名实体序列;
S7、获取模型综合损失,得到训练好的综合模型;
S8、利用训练好的综合模型,对中文细粒度命名实体文本进行命名实体识别,得到识别结果;
提取各batch数据的Embedding词向量的方法包括:S301、提取所述中文细粒度命名实体识别数据集中,各batch数据内最长文本的数据长度;
S302、以所述数据长度作为batch数据的batch size;
S303、使用训练好的BERT中文预训练模型提取各batch数据的Embedding词向量;
获取模型综合损失的方法包括:
S701、基于IDCNN网络的训练预测结果,计算focalloss;
S702、通过概率建模方法学习最优条件,为条件随机场模型损失和focal loss赋予权重;
S703、对不同权重进行平衡,得到模型综合损失;
得到的模型综合损失为:
式中,L为综合损失,L1为条件随机场模型损失,L2为当前样本数据预测的focalloss,σ1为条件随机场模型损失的权重,σ2为focalloss的权重。
2.根据权利要求1所述的一种细粒度中文命名实体识别方法,其特征在于,获取特征向量之间深层特征的方法包括:将得到的Embedding词向量输入Bi‑GRU模型进行深层特征提取,由Bi‑GRU模型输出深层特征词向量;所述Bi‑GRU模型包括前项GRU组件、后向GRU组件。
3.根据权利要求2所述的一种细粒度中文命名实体识别方法,其特征在于,获取长文本之间依赖的离散特征的方法包括:S501、将所述深层特征词向量输入IDCNN网络进行离散特征提取;
S502、将提取的离散特征通过IDCNN网络内部的全连接层进行综合,输出数据整体特征。
4.根据权利要求3所述的一种细粒度中文命名实体识别方法,其特征在于,所述IDCNN网络中的激活函数为: 式中,Y为激活函数输出,x为上层神经网络的输出,α为训练中自定义的超参数,e为自然对数。
5.根据权利要求3所述的一种细粒度中文命名实体识别方法,其特征在于,获取全局最优命名实体序列的方法包括:S601、将所述数据整体特征通过条件随机场模型CRF进行全局归一化;
S602、通过CRF内部的状态函数获取输入序列与当前状态之间的关系、通过CRF内部的转移函数获取输出状态与当前状态之间的关系;
S603、得到当前序列的转移特征、以及条件随机场模型损失;
S604、通过Viterbi算法对当前序列进行解码,获取标注的最优路径。
6.根据权利要求1所述的一种细粒度中文命名实体识别方法,其特征在于,通过如下公式计算focalloss:L2=‑(1‑pt)γlog(pt);式中,pt为当前预测值与类别t的接近程度,γ为大于0的超参数,L2为当前样本数据预测的focalloss。
7.根据权利要求6所述的一种细粒度中文命名实体识别方法,其特征在于,pt的取值方法为:若当前样本数据的真实标签为1,则pt=p;否则,pt=1‑p;其中,p为模型预测的概率。