欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108095163
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进BERT模型的特定目标情感分类方法,其特征在于,所述方法包括:步骤1:采集数据集,所述数据集是公开数据集或通过采集短文本数据自行构造的数据集;

步骤2:对自行构造的数据集,由标注人员其进行标注得到标注数据集,标注人员标注句子中需要进行情感分类的目标词的位置,以及每一个目标词所对应的情感极性标签,情感极性标签包括正面极性、中性极性和负面极性;

步骤3:初始化BERT模型,设置BERT模型参数;

步骤4:将公开数据集或标注数据集作为步骤3初始化完成后的BERT模型的输入,其中句子s=[w1,w2,…,wi,…,wn]由n个单词组成,目标词t=[wi,wi+1,…,wi+m-1]由m个单词组成,且目标词t是句子s的子集;

步骤5:句子s经过分词处理后得到的句子表示为Sr:

Sr=[x0,x1,x2,…,xi′,…,xn′,xn′+1]该句子中的目标词表示为Tr:

Tr=[xi′,xi′+1,…,xi′+m′-1]且Tr∈Sr其中,x0和xn′+1分别表示[CLS]标签和[SEP]标签对应的词向量,Sr经过BERT模型的多层转换网络后,得到最后一层中关于目标词Tr的编码结果表示为TrVec:TrVec=[vi′,vi′+1,…,vi′+m′-1],TrVec∈Rm′×dTrVec是目标词Tr的向量表示,其中R表示向量空间,长度为m′,d表示向量的维度;

步骤6:将步骤5得到的关于目标词Tr的编码结果TrVec进行最大池化处理后得到特征向量V,将V作为全连接层的输入;

V=max{TrVec,dim=0},V∈R1×d

步骤7:对于单目标任务,将全连接层的输出结果输入到softmax函数中进行分类;

步骤8:对于多目标任务,将步骤6的全连接层输出结果利用Transformer或LSTM神经网络进行不同目标词之间的特征组合,然后输入到softmax函数中进行分类;

步骤9:利用交叉熵CrossEntropy计算损失函数,进行反向传播,更新模型的权值参数,进行迭代运算。不断迭代步骤4、步骤5、步骤6、步骤7和步骤8,当损失函数的损失值在连续至少两个迭代过程中趋于稳定时,结束模型的训练过程,得到分类预测模型。

2.如权利要求1所述的特定目标情感分类方法,其特征在于,步骤8对多目标进行分类的方法包括:对于多目标任务,将每个单目标经过步骤6得到的全连接层输出结果分别输入到每个Transformer模块或LSTM神经网络中进行特征组合,然后再将特征组合后的结果输入到softmax函数中进行分类。

3.如权利要求2所述的特定目标情感分类方法,其特征在于,正面极性、中性极性和负面极性分别用1、0、-1来表示。

4.如权利要求3所述的特定目标情感分类方法,其特征在于,BERT模型参数至少包括学习率、随机失活和训练轮数。