1.一种基于注意力机制的BILSTM多标签文本分类方法,其特征在于,构建多标签文本分类模型,多标签文本分类模型包括bert模型、Word2vec模型、BILSTM模块、注意力机制模块,基于注意力机制的BILSTM多标签文本分类方法包括以下步骤:S1.将文本数据通过bert模型进行词嵌入,将标签数据通过Word2vec模型进行词嵌入;
S2.通过BILSTM模块对词嵌入后的文本数据与标签数据进行上下文信息的提取,得到文本表示和标签表示;
S3.采用注意力机制模块对文本表示和标签表示进行处理,得到基于标签的文本表示;
步骤S3得到基于标签的文本表示的过程包括:S11.将文本表示送入自注意力机制,得到在自注意力机制下的标签文档表示;
S12.将经过词嵌入后的标签数据和文本表示送入标签注意力机制,得到经所有标签的文档表示;
S13.将S11得到的在自注意力机制下的标签文档表示和S12得到的经所有标签的文档表示融合,得到融合文档表示;
S14.将标签文本送入自注意力机制进行处理,将处理结果与S13的融合文档表示融合,得到基于标签的文本表示;
步骤S13的融合过程包括:
其中,M
得到基于标签的文本表示的过程包括:
S21.通过自注意力机制捕获标签文本中每个标签的依赖关系,得到标签文本的标签词注意得分;
S22.根据标签文本的标签词注意得分获取每个标签的线性组合,通过每个标签的线性组合得到自注意力机制下特定于标签的标签表示;
S23.将自注意力机制下特定于标签的标签表示与融合文档表示融合,得到基于标签的文本表示;
步骤S23融合前,将融合文档表示通过一个全连接层进行处理得到第一文本,将标签表示通过一个全连接层进行处理得到第二文本,将第一文本与第二文本融合得到基于标签的文本表示,其处理公式为:a=sigmoid(W
d=sigmoid(W
z=BN[a,d]
其中,a为第一文本,d为第二文本,M为融合文档表示,M`根据基于标签的文本表示,通过sigmoid函数计算分类的预测概率其中,reshape(·)为reshape函数,b为偏量,WS4.通过损失函数计算基于标签的文本表示的损失直至收敛,得到训练好的多标签文本分类模型;
损失函数表示为:
其中,N为文本数据总数,l为标签数据总数,S5.将实时数据输入训练好的多标签文本分类模型,得到实时数据的标签分类预测结果。
2.根据权利要求1所述的一种基于注意力机制的BILSTM多标签文本分类方法,其特征在于,步骤S2采用BILSTM模块学习词嵌入后的文本数据和标签数据,得到文本表示和标签表示,表示为:其中,H为文本表示,
其中,
3.根据权利要求1所述的一种基于注意力机制的BILSTM多标签文本分类方法,其特征在于,步骤S11采用标签注意力评分得到文本数据中的每个标签上下文词的线性组合,根据每个标签上下文词的线性组合获取文本表示在自注意力机制下的标签文档表示,标签注意力评分和每个标签上下文词的线性组合分别表示为:A
其中,A
4.根据权利要求1所述的一种基于注意力机制的BILSTM多标签文本分类方法,其特征在于,步骤S12得到经所有标签的文档表示包括:将词嵌入后的标签数据转化为可训练矩阵,通过线性组合标签的上下文词构建文本表示和可训练矩阵之间的语义关系,根据文本表示和可训练矩阵之间的语义关系获取经所有标签的文档表示C表示词嵌入后的标签数据的可训练矩阵,C∈R