1.短文本分类方法,其特征在于,包括:
将待处理文本输入预先训练的编码模型,输出待处理文本对应的编码信息,所述编码模型基于RoBERTa‑WWM构建;将待处理文本输入预先训练的RoBERTa‑WWM模型;所述RoBERTa‑WWM模型将所述待处理文本转化为句子矩阵;
分别将所述编码信息输入第一模型和第二模型;利用所述第一模型抽取所述待处理文本的词依赖特征信息和文本依赖特征信息,所述词依赖表示词与词直接的关系,所述文本依赖表示句子与句子之间的上下文关系;利用所述第二模型提取所述待处理文本的深层次特征信息;所述第一模型基于DSACNN构建,所述第一模型包括词嵌入层、DPCNN卷积层和自注意力机制层;利用所述词嵌入层对所述句子矩阵进行词向量嵌入;利用所述DPCNN卷积层对嵌入的词向量进行等长卷积;将所述DPCNN卷积层的卷积结果输入所述自注意力机制层,以提取所述待处理文本的词依赖特征信息和文本依赖特征信息;所述第一模型还包括最大池化层;将所述DPCNN卷积层的卷积结果输入所述自注意力机制层,利用所述自注意力机制层将所述词向量分别乘以不同的变换矩阵,得到查询矩阵、关键字矩阵和值矩阵;根据所述查询矩阵和所述关键字矩阵得到注意力分数矩阵,所述注意力分数矩阵表示所述查询矩阵和所述关键字矩阵之间的相似度;根据所述注意力分数矩阵得到注意力权重矩阵,所述注意力权重矩阵表示所述词向量在所述待处理文本中的重要程度;根据所述注意力权重矩阵与所述值矩阵做相加运算,得到所述自注意力机制层的第一输出结果,所述第一输出结果包含所述待处理文本中的词依赖特征信息;将所述自注意力机制层的第一输出结果输入所述最大池化层进行最大池化,将所述待处理文本的长度缩短,得到池化结果;将所述注意力分数矩阵与所述自注意力机制层的第一输出结果相加,将相加的结果输入所述DPCNN卷积层进行等长卷积,将卷积后的结果输入所述自注意力机制层,得到所述自注意力机制层的第二输出结果,所述第二输出结果包含所述待处理文本的文本依赖特征信息;将所述池化结果和所述第二输出结果合并,得到所述DSACNN模型的输出结果,所述DSACNN模型的输出结果包含所述待处理文本中的词依赖特征信息和文本依赖特征信息;
将所述待处理文本的词依赖特征信息、文本依赖特征信息和深层次特征信息合并,得到所述待处理文本的合并特征信息;将所述合并特征信息输入分类器中对所述待处理文本进行分类。
2.如权利要求1所述的短文本分类方法,其特征在于,所述第二模型基于BiGRU构建;所述第二模型包括两个GRU;利用所述第二模型提取所述待处理文本的深层次特征信息,包括:通过前向隐藏状态与反向隐藏状态加权求和,得到所述BiGRU在当前时刻的隐藏状态;
其中,每个GRU是通过重置门和更新门来控制句子矩阵信息的传递,从而提取所述待处理文本的深层次特征信息;重置门根据上一时刻的隐藏状态,来决定通过的句子矩阵信息中有多少需要进行遗忘操作;更新门则是根据当前时刻和上一时刻的隐藏单元,来决定上一时刻以及当前时刻总共有多少有用信息需要接着向下传递。
3.短文本分类装置,其特征在于,包括:
编码模型,用于将输入的待处理文本进行编码输出编码信息,具体用于将输入的待处理文本输入预先训练的RoBERTa‑WWM模型,将所述待处理文本转化为句子矩阵;
第一模型,用于根据编码信息抽取所述待处理文本的词依赖特征信息和文本依赖特征信息,所述词依赖表示词与词直接的关系,所述文本依赖表示句子与句子之间的上下文关系;所述第一模型基于DSACNN构建,所述第一模型包括词嵌入层、DPCNN卷积层和自注意力机制层;所述第一模型具体用于:利用所述词嵌入层对所述句子矩阵进行词向量嵌入;利用所述DPCNN卷积层对嵌入的词向量进行等长卷积;将所述DPCNN卷积层的卷积结果输入所述自注意力机制层,以提取所述待处理文本的词依赖特征信息和文本依赖特征信息;所述第一模型还包括最大池化层,所述第一模型具体还用于:将所述DPCNN卷积层的卷积结果输入所述自注意力机制层,利用所述自注意力机制层将所述词向量分别乘以不同的变换矩阵,得到查询矩阵、关键字矩阵和值矩阵;根据所述查询矩阵和所述关键字矩阵得到注意力分数矩阵,所述注意力分数矩阵表示所述查询矩阵和所述关键字矩阵之间的相似度;根据所述注意力分数矩阵得到注意力权重矩阵,所述注意力权重矩阵表示所述词向量在所述待处理文本中的重要程度;根据所述注意力权重矩阵与所述值矩阵做相加运算,得到所述自注意力机制层的第一输出结果,所述第一输出结果包含所述待处理文本中的词依赖特征信息;将所述自注意力机制层的第一输出结果输入所述最大池化层进行最大池化,将所述待处理文本的长度缩短,得到池化结果;将所述注意力分数矩阵与所述自注意力机制层的第一输出结果相加,将相加的结果输入所述DPCNN卷积层进行等长卷积,将卷积后的结果输入所述自注意力机制层,得到所述自注意力机制层的第二输出结果,所述第二输出结果包含所述待处理文本的文本依赖特征信息;将所述池化结果和所述第二输出结果合并,得到所述DSACNN模型的输出结果,所述DSACNN模型的输出结果包含所述待处理文本中的词依赖特征信息和文本依赖特征信息;
第二模型,用于根据编码信息提取所述待处理文本的深层次特征信息;
合并模块,用于将所述待处理文本的词依赖特征信息、文本依赖特征信息和深层次特征信息合并,得到所述待处理文本的合并特征信息;
分类模块,用于将所述合并特征信息输入分类器中对所述待处理文本进行分类。
4.一种电子设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1 2任一项所述的短文本分类方法的步骤。
~
5.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1 2任一项所述的短文本分类方法的~步骤。