欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022116730441
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-06-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于标签感知的多标签文本分类方法,其特征在于,包括如下步骤:步骤1:输入文本训练数据集进行数据预处理得到文本P和标签集合T;

步骤2:采用Glove模型获得文本词嵌入向量V1和标签词嵌入向量V2;

步骤3:将文本的词向量V1输入到LSTM进行预编码得到文本的词隐表示V;

步骤4:经过训练获得TransE模型,引入外部知识图谱,通过TransE模型得到的知识嵌入与标签词嵌入向量V2进行拼接得到扩充后的标签表示矩阵M;

步骤4.1:经过训练和调参后获得TransE模型,TransE利用损失优化函数使正确的三元组的距离小,错误的三元组距离大,损失优化函数公式如下:其中,s表示正确的三元组,s′表示错误的三元组,d表示向量之间的距离,Υ是一个常数,表示正负样本之间的间距,[x]+表示max(0,x);错误的三元组s′由正确的三元组s里的头实体h、关系r、尾实体t其中之一随机替换成其他实体或关系生成;

步骤4.2:使用TransE模型得到知识图谱的相关上下文实体嵌入,将知识图谱嵌入和之前标签嵌入获取的标签词嵌入向量V2进行拼接,扩展标签的语义信息,得到标签表示矩阵M;知识图谱嵌入的上下文实体的嵌入按以下公式来转换:其中,ei表示通过知识图谱嵌入得到的上下文实体嵌入,上面公式得出的上下文嵌入指的是全部上下文实体嵌入的平均值;

步骤5:将标签表示矩阵M输入到LSTM得到标签的隐表示C;

步骤6:将文本的词隐表示V和标签的隐表示C进行聚合运算,然后利用空洞卷积提取文本的细粒度特征,通过标签注意力获得标签的文本表示,最后经过多层感知机进行分类预测,训练多标签文本分类模型;

步骤7:利用训练好的多标签文本分类模型对待分类文本的数据集进行多标签文本分类。

2.根据权利要求1所述的基于标签感知的多标签文本分类方法,其特征在于,所述步骤

1中预处理包括:

步骤1.1:对文本训练集中的数据进行数据清洗,清洗文本数据中的非文本数据;

步骤1.2:进行停用词过滤、纠错、同义词替换得到文本P和标签集合T;

步骤1.3:定义P={p1,p2,...,pM}为M个文档构成的数据集,pi表示P中的第i个文档,pi={w1,w2,...,wm},其中m为文档pi的长度,wj表示该文档的第j个单词,pi对应的分类标签由T={t1,t2,...,tl}表示,其中l为标签的个数。

3.根据权利要求1所述的基于标签感知的多标签文本分类方法,其特征在于,所述步骤

6具体方法为:

步骤6.1:对文本的词隐表示V和标签隐表示C进行聚合运算,然后采用多层不同扩张率的一维空洞卷积提取文本特征,聚合运算公式如下:其中,C表示步骤5所得的标签隐表示,V表示步骤3所得的文本的词隐表示,表示同位元素对应相除,表示K×L阶的归一化矩阵,K指标签总数,L指单词长度,中的每个元素由标签隐表示和文本的词隐表示进行点乘计算得出;

步骤6.2:将聚合运算得到的结果输入到最大池化层,通过softmax函数得到Attention系数;

步骤6.3:Attention系数加权词嵌入计算得出文本表示,文本表示计算公式如下:其中,βl表示第l个元素的Attention系数,vl表示步骤3所得的文本的词隐表示中第l个词的词隐表示;

步骤6.4:输入到多层感知机进行标签的分类预测,训练多标签文本分类模型。

4.根据权利要求3所述的基于标签感知的多标签文本分类方法,其特征在于,所述步骤

6.4中分类预测由两个全连接层和一个输出层组成的感知机实现,预测第i个标签出现的概率由以下公式计算获得:yi=σ(W2f(W1z))                        (5)其中,W1为全连接层的参数,W2是输出层的参数,函数f为非线性激活函数,z为文本的最终表示;

所述步骤6.4中训练多标签文本分类模型时使用二元交叉熵损失作为损失函数:其中,N表示文档文本的总数,c表示标签的个数, yij∈{0,1}分别表示第i个实例的第j个标签的预测标签和真实标签。