1.基于attention CNNs和CCR的文本情感分析方法,其特征在于:
步骤一、首先将原始文本数据分为训练样本及测试样本;然后对原始文本数据进行分词处理得到分词文本,利用分词文本进行语义词向量和情感词向量训练;利用已有情感词典进行词典词向量构建;
步骤二、利用语义词向量、情感词向量和词典词向量分别表示分词文本,得到三种类型初始输入词向量矩阵;利用长短时记忆网络LSTM捕获三种类型初始输入词向量矩阵中每一单词的上下文语义,融入上下文信息后得到三种类型输出词向量矩阵,输出词向量矩阵能够消除单词歧义;
所述三种类型初始输入词向量矩阵包括:初始输入词典词向量矩阵、初始输入语义词向量矩阵和初始输入情感词向量矩阵;所述三种类型输出词向量矩阵包括:输出词典词向量矩阵、输出语义词向量矩阵和输出情感词向量矩阵;
步骤三、利用卷积神经网络CNN并结合不同滤波长度的卷积核提取三种类型输出词向量矩阵的局部特征;
步骤四、利用三种不同的注意力机制,即长短时记忆网络注意力机制、注意力采样以及注意力向量分别提取输出语义词向量矩阵和输出情感词向量矩阵的全局特征;
步骤五、对原始文本数据提取人工设计特征;
步骤六、利用所述局部特征、所述全局特征及所述人工设计特征对多模一致回归目标函数进行参数训练;
步骤七、求得多模一致回归最佳参数,通过多模一致回归预测方法对初始输入词向量矩阵进行正向、中立或者负向情感极性分析。
2.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于:所述语义词向量训练:采用Skip-gram模型训练语义词向量;该模型从目标词w的上下文c中选择一个词,将上下文c中的一个词作为模型输入,预测目标词w;首先将原始文本数据进行分词处理得到分词文本,然后将分词文本送入Skip-gram模型,通过最大化语义词向量损失函数:得到语义词向量;其中,Z表示分词处理后的文本,w表示目标词,c表示目标词所对应的上下文,wj表示上下文c中的一个词,j表示上下文c中单词个数,P(wj|w)表示通过目标词w预测wj的概率;
所述情感词向量训练:在Skip-gram模型基础上加入分类层softmax layer,用于训练情感词向量;语义部分损失函数与语义词向量相同,情感部分损失函数为Lsentiment=∑y·log(y_pred)
其中,y-pred=softmax(X)表示预测的情感标签,X表示上述训练得到的语义词向量,y表示真实情感标签;最后将语义词向量损失函数Lsemantic和情感部分损失函数Lsentimen线性结合得到情感词向量损失函数: 其中 表示权重因子;通过最小化情感词向量损失函数L得到情感词向量,该向量既包含了语义关系又融入了情感信息;
所述词典词向量构建:情感词典包含一个词的情感得分,不同情感词典得分标准不同;
将所有情感词典单词得分归一化到[-1,1],得到词典词向量矩阵。
3.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,步骤二的具体过程为:原始文本数据经过分词处理后的分词文本利用上述所得词向量表示,得到三种类型初始输入词向量矩阵D且 即D是一个n×di的矩阵,其中n表示句子中单词个数,di表示相应词向量维度,i={1,2,3};所述初始输入语义词向量矩阵表示为 初始输入词典词向量矩阵表示为 初始输入情感词向量矩阵表示然后,利用双向长短时记忆网络LSTM结构捕获单词的上下文信息用于歧义消除,单词的上文信息向量表示为 下文信息向量表示为 其中dl和dr分别对应上文和下文信息向量的维度;融入上下文信息后的输出词向量矩阵表示为 其
中dl+di+dr为融合后的词向量维度;所述输出语义词向量矩阵表示为 输出
词典词向量矩阵表示为 以及输出情感词向量矩阵表示为
4.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,所述步骤三的具体处理过程为:利用滤波长度l的CNN卷积核,对三种类型的输出词向量矩阵 进行卷积操作,卷积参数 不同的滤波长度卷积核得到不同的卷积矩阵 当滤波长度l=g时,卷积矩阵为g元卷积矩阵,其中m为卷积核个数;对输出语义词向量矩阵 和输出情感词向量矩阵 卷积核个数为m1;对输出词典词向量矩阵卷积核个数为m2;然后对卷积矩阵S每一列进行最大化采样得到输出词向量矩阵 的局部特征xl,其中输出语义词向量矩阵的局部特征表示为xl1,输出词典词向量的局部特征表示为xl2,输出情感词向量的局部特征表示为xl3。
5.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,所述步骤四的具体处理过程为:a、利用双向长短时记忆网络注意力机制提取输出词向量矩阵 的全局特征,计算输出词向量矩阵 中每个单词的注意力权重;首先,同样通过LSTM结构得到每个单词所对应的隐向量;然后,根据隐向量计算得到输出词向量矩阵 中第i个词的初始权重其中 表示输出词向量矩阵 中第i个词的隐向量,ba为偏置参数,
Wa和vT为网络结构权重参数;对输出词向量矩阵 其对应的初始权重向量表示为其中 表示输出词向量矩阵 中第i个词初始权重,n为输出词向量矩阵 中单词个数;接着对初始权重向量进行归一化操作得到概率权重向量 其中
表示输出词向量矩阵 中第i个词概率权重;最后将概率权重向量aa与输出词向量矩阵 相乘得到全局特征;由于词典词向量维度较低,忽略词典词向量全局特征;语义词向量全局特征表示为xg1,情感词向量全局特征表示为xg3;
b、注意力采样提取输出词向量矩阵 的全局特征:首先,根据均匀分布Uni(-β,β)随机初始化类别矩阵 其中c表示情感类别数,包括正向,中立和负向三个类别, 表示均匀分布的区间参数;定义关联矩阵 来捕
获卷积矩阵S和类别矩阵Wclass之间的关系,其中关联矩阵G=STUWclass,ST为转置后的卷积矩阵,U为权重矩阵;随后对关联矩阵G进行归一化操作获得注意力矩阵A,最后转置卷积矩阵T TS与A相乘得到特征信息;对矩阵SA的每一行进行最大化处理,筛选出对情感极性判断最相关的特征 其中p和q分别表示矩阵STA的行和列,最后得到输出词向量矩阵的全局特征;同样,语义词向量全局特征表示为xg1,情感词向量全局特征表示为xg3;
c、注意力向量提取输出词向量矩阵 的全局特征:首先对滤波长度l=1的一元卷积矩阵的行进行最大化处理得到一元注意力向量,转置后的输出词向量矩阵 与之一元注意力向量相乘得到一元全局特征;对二元词组,同样对滤波长度l=2的二元卷积矩阵行进行最大化处理得到二元注意力向量,二元输出词向量矩阵表示为 其中二元输出词向量矩阵每一行表示为 ri为输出词向量矩阵 第i行,转置二元输出词向量矩阵 与二元注意力向量相乘得到二元全局特征;同样,词典词向量维度低,忽略其全局特征;语义词向量所有全局特征首尾相连融合成xg1,情感词向量所有全局特征首尾相连融合为xg3。
6.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,所述人工设计特征包括:形态学特征、词性特征、否定检测、词典得分;所述形态学特征包括大写单词个数、问号出现次数,感叹号出现次数;所述词性特征包括:每种词性词在句中所出现次数;所述否定检测包括:否定词出现次数;所述词典得分包括:句子情感总得分和句子最后一词得分。
7.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,所述步骤六的具体处理过程为:首先定义p和q为两种长度相同的离散概率分布,D(p||q)定义为KL散度之和:D(p||q)=DKL(p||q)+DKL(q||p);将语义词向量局部特征xl1、词典词向量局部特征xl2、全局特征xg1及人工特征xt首尾相连聚合成特征x1=[xt;xg1;xl1;xl2]T;将情感词向量局部特征xl3、词典词向量局部特征xl2、全局特征xg3及人工特征xt首尾相连聚合成特征x2=[xt;xg3;xl3;xl2]T;将特征x1和特征x2首尾相连聚合成特征xc;最后,最小化多模一致回归目标函数求得多模一致回归的参数;
其中, 代表第i个训练样本所提取的特征 所预测的概率类别分
布, 代表第i个训练样本的融合特征 所预测的概率类别分布,yi表
示真实概率分布,k={1,2}表示不同方面所融合的特征,N表示训练样本数,θc和θk都为正则参数,λ为超参。
8.根据权利要求1所述的基于attention CNNs和CCR的文本情感分析方法,其特征在于,所述步骤七的具体处理过程为:特征 所预测情感类别概率分布表示为其中 表示特征 预测为正向情感类别的概率, 表示特
征 预测为中立情感类别的概率, 表示特征 预测为负向情感类别的概率;然后利用多模一致回归进行最终情感类别概率预测;输入词向量矩阵属于第j个情感类别概率为:其中j=1,2,3分别代表正向,中立和负向三种情感类别。