1.基于依赖图卷积和迁移学习的ABSC任务句法约束方法,其特征在于,包括如下步骤:将任务分为主任务和辅助任务,先训练好辅助任务的被迁移的词性标注的模型BiLSTMPOSTagger,然后对模型BiLSTMPOSTagger进行冻结,再进行主任务模型LCF‑TDGCN的训练:
一、辅助任务训练:
1)数据预处理:采用程序包TorchText对数据集通用依赖性英语Web树库,即UDPOS中的文本格式进行预处理,预处理包含小写所有文本、对未知token进行标记,将预处理后的文本数据集分成训练集、验证集和测试集;
2)初始化设置:设置超参数,加载Glove预训练,构建词汇表,将Glove预先训练的向量加载到词汇表中,使用超参数初始化模型,再定义迭代器,设置批处理大小batch_size和device,分别对辅助任务训练步骤1)中划分好的训练集、验证集和测试集中的文本以batch_size个文本样本为一个批次进行处理;
3)构建模型:使用PyTorch和TorchText构建一个机器学习模型BiLSTMPOSTagger,BiLSTMPOSTagger包括:一个嵌入层Embedding,输入尺寸为输入文字或词汇的大小;两层双向LSTM,即Bi‑LSTM;Linear线性层;一个dropout层;
4)训练模型:实例化模型,将辅助任务训练步骤2)中训练集的文本样本分批次输入到辅助任务训练步骤3)的模型BiLSTMPOSTagger中,应用Adam算法和交叉熵损失函数来训练词性标注模型,直至训练集中所有样本的文本都被BiLSTMPOSTagger模型网络学习;
5)迭代训练:对BiLSTMPOSTagger进行迭代训练,并保存训练后的模型,然后在完成一次迭代后更新系数,直至进行了e次迭代后结束训练,其中e的次数人为设定,得到符合预期要求的BiLSTMPOSTagger,同时将辅助任务训练步骤1)中验证集的样本分批次输入到BiLSTMPOSTagger中计算,得到验证集的分类准确度和分类损失值;
6)测试和评估:将辅助任务训练步骤2)中测试集的样本分批次输入到辅助任务训练步骤5)中得到的BiLSTMPOSTagger中进行计算并测试,并记录测试结果,然后保存记录训练好的网络参数,然后将该参数输出;
二、主任务训练:
1)数据预处理和初始化设置:对原始数据集进行分析和预处理,主任务共有5个数据集,分别是Twitter、Laptop、SemEval‑2014的任务4下子任务2的餐馆数据集REST14、SemEval 2015任务12的餐馆数据集REST15、SemEval 2016任务5的餐馆数据集REST15,数据集信息18744条,其中每类数据集下面分积极、消极、中性三类数据集,对数据集根据极性的三种类别进行训练集和测试集的划分,先将5个数据集的训练集和测试集分别生成对应的句法依赖图.graph文件备用,共10个.graph文件,对10个.graph文件进行处理得到.graph对应的邻接矩阵,再对数据集的原文本格式使用进行预处理,进行小写处理、通过Tokenizer4Bert生成字向量,设置超参数,定义迭代器,设置批处理大小batch_size和device,分别对划分好的训练集、测试集中的文本以batch_size个文本样本为一个批次进行处理;
2)构建模型:采用预训练模型、图神经网络和迁移学习技术,设计和构建好模型框架LCF‑TDGCN,本地上下文即LCFB单元位于左侧,全局上下文即GCFB单元位于右侧,GCFB使用g
另一个独立的预训练BERT 层对全局上下文进行建模,同时,LCFB使用一个独立的预训练l
BERT层和辅助任务的迁移词性标注模型BiLSTMPOSTagger对本地上下文进行建模,进行加权和Add操作、动态权重CDW操作、2层GCN层、动态掩码CDM操作,在CDM操作后得到的特征和GCFB单元得到的特征进行torch.cat()连接,再通过Linear层,SelfAttention层,BertPooler层,Linear层后返回向量;
3)模型训练:对辅助模型BiLSTMPOSTagger进行加载和冻结操作,将主任务训练步骤1)中训练集的文本样本分批次输入到主任务训练步骤2)构建的模型LCF‑TDGCN中,应用Adam算法和交叉熵损失函数来训练模型LCF‑TDGCN,直至训练集中所有样本的文本都被模型LCF‑TDGCN学习;
4)迭代训练:对模型LCF‑TDGCN进行迭代训练,并保存训练后的网络,在完成一次迭代后更新系数,直至进行了n次迭代后结束训练,其中n的次数人为设定,得到符合预期要求的网络,为防止过拟合,在迭代训练过程中采用early stop,early stop阈值人为设定;
5)模型的测试和优化评估:将主任务训练步骤1)中测试集的样本分批次输入到主任务训练步骤4)中得到的网络中进行计算并测试,并记录测试结果,然后保存记录训练好的网络参数,然后将该参数输出,为了获得更好的效果,在模型的每次训练后应用Adam算法和交叉熵损失函数进行参数调整优化,此外还对模型LCF‑TDGCN做出相应的评价,采用评价指标Acc即分类准确率和F1即精确率和召回率的调和均值来反馈结果。
2.根据权利要求1所述的基于依赖图卷积和迁移学习的ABSC任务句法约束方法,其特征在于,所述主任务训练步骤1)中的生成对应的句法依赖图.graph文件时统一为矩阵格式。