欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022107191396
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度神经网络的信息抽取方法,其特征在于,包括无监督域内继续预训练和基于批量过采样的有监督训练;

所述信息为中医临床四诊信息;

所述方法包括以下步骤:

S1:对开放域预训练语言模型BERT的掩码语言模型(Masked Language Model,MLM)进行无监督域内继续预训练;

S2:将S1中域内继续预训练之后的BERT模型与BiLSTM‑CRF模型组合成BERT‑BiLSTM‑CRF模型;

S3:对BERT‑BiLSTM‑CRF模型进行有监督训练;

所述批量过采样处理流程包括批处理策略、按比例P随机移除、随机选取、插入;

所述批量过采样处理流程的具体步骤为:

a)批处理策略:首先,将训练数据集D中所有的数据样本(xi,yi)按洗牌算法随机排列到列表中。然后,使用批量大小为M的滑动窗口去将列表划分为批量集合B,批量集合B中的批量Bk的数量 批量Bk的大小为M,即:一个批量Bk中包含M个数据样本(xi,yi);

b)按比例P随机移除:针对步骤a)中生成的每一个批量Bk,按批量过采样比例P随机从Bk中移除 个数据样本(xi,yi);

c)随机选取:从少数类样本信息数据集W中有放回地随机选取 个数据样本,与步骤b)中在每个批量Bk中随机移除的数据样本数量相等;

d)插入:针对步骤b)中处理后的每一个批量Bk,将步骤c)中生成的 个数据样本插入批量Bk中,形成批量过采样后的批量B'k,其中,批量集合B'中批量B'k的数量N'与批量集合B中批量Bk的数量N相等,即: 所述步骤S2中BERT‑BiLSTM‑CRF模型,输入层将训练数据按字粒度进行分词,然后输入BERT层进行特征提取,BERT模型对输入的序列进行多种不同的线性变换,得到多个不同的Attention结果,并通过多头注意力机制将不同线性变换得到的Attention结果拼接起来,得到每个词在不同空间下的位置信息,从而给BERT层输出的词向量注入丰富的上下文语境信息;BiLSTM层的前向过程和后向过程的LSTM单元可以舍弃当前时刻输入词向量的无用信息,并将当前时刻输入词向量的有用信息传递给下一时刻的LSTM单元,然后,将双向过程中每个时刻对应的输出拼接,得到包含长距离上下文信息的词向量;CRF模型利用邻近标签之间的依赖关系对BiLSTM层输出的所有词向量进行解码,从而得到最优的预测序列;

所述步骤c)中所述的少数类样本信息数据集W为闻诊信息数据集,由训练数据集D中所有包含闻诊信息的数据样本构成。

2.根据权利要求1所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述S3中通过小批量梯度下降方法对BERT‑BiLSTM‑CRF模型进行有监督训练。

3.根据权利要求2所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述S3中对BERT‑BiLSTM‑CRF模型进行有监督训练的数据集是经过批量过采样处理的标注数据。

4.根据权利要求1所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述步骤c)针对步骤b)中处理后的的每一个批量Bk都会重新执行一次。

5.根据权利要求4所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述批量大小M,批量过采样比例P都为模型训练过程中的超参。

6.根据权利要求4所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述批量过采样流程在训练模型的过程中会多次执行,执行次数与模型训练过程中的超参Epochs相等。

7.根据权利要求1所述的一种基于深度神经网络的信息抽取方法,其特征在于,所述步骤S2中BERT‑BiLSTM‑CRF模型组合的方法为,将无监督域内继续预训练后的BERT模型与BiLSTM模型相组合,用于输入序列的特征提取,并在其末尾组合一个用于抽取信息的CRF模型。