欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018104851932
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特定领域情感词的文档级情感分析方法,其特征在于,包括以下步骤:步骤1:收集文档数据集,得到原型单词的集合,使用Skip-gram词向量模型训练原型单词的集合,得到每个原型单词对应的词向量,并利用注意力机制对词向量进行重组,以捕获词向量中非连续词之间的关系;

文档由句子组成,句子由词组成,利用非对称卷积神经网络对词进行合成,利用基于注意力机制的双向门循环神经网络对句子进行合成,最终形成文档向量特征;

步骤2:建立一种基于Skip-gram词向量模型的领域情感词典,以生成情感特征向量;

步骤3:利用线性结合层将步骤1得到的文档向量特征与步骤2生成的情感特征向量相结合形成文档特征,并且通过softmax函数接收文档张量,最后输出文档的情感类别。

2.根据权利要求1所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,步骤1中所述的文档数据集来源于学术研究中使用的语料数据。

3.根据权利要求1所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,所述步骤1中的注意力机制使用的是self-Attention机制,self-Attention机制能为每个词和句子建立一个上下文向量。

4.根据权利要求3所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,所述步骤1,具体实现包括以下子步骤:步骤1.1:使用self-attention机制重组词向量,self-attention机制为每个单词创建一个上下文向量,然后与原始向量相结合形成一个新的词向量;

步骤1.2:利用非对称卷积神经网络对词进行合成形成句子向量,利用双向门循环神经网络对句子进行合成形成文档向量,最终产生文档向量特征,同时,加入一层注意力机制,突出对文档分类重要的句子。

5.根据权利要求4所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,所述步骤1.2,具体包括以下子步骤:步骤1.2.1:一个句子包括n个词{w1,w2,...wn},令xi∈Rd是第i个词的词向量,把lj当成是卷积滤波器的宽度对一元、二元、三元的语义信息进行编码,其中j∈(1,2,3);非对称卷积神经网络能减少参数的个数并且通过添加非线性来提高表达能力,因此,使用非对称卷积神经网络,把lj×d个卷积分成1×d和lj×1个卷积,对于这两部分,分别利用滤波器对输入向量进行卷积,得到对应的feature map,利用频道对feature map进行切分,最终得到句子向量,具体过程如下:首先,对于1×d卷积,我们使用卷积滤波器 对输入向量进行卷积,特征 的计算过程如公式(1)所示:其中,mi代表词向量xi与词级上下文向量ki的结合向量,i∈R,j∈(1,2,3), 表示矩阵的内积操作,b是卷积执行器的偏移量,f代表非线性函数,我们使用的是ReLU函数,特征平i面n计算过程如(2)所示:

对于lj×1卷积,我们使用 滤波器对上面的计算结果ni进行卷积操作,新的特征 和新的特征平面oi的计算如(3)和(4)所示:其中, 代表序列n-lj+1的特征;

卷积操作之后,k-max池化操作被应用到特征平面中去选择最重要的特征,然而,双向门循环神经网络擅长处理序列数据,池化操作会切断序列信息,因此,采用非对称卷积神经网络的思想,通过频道切分特征平面,得到了新的特征 结合 得到最终的输出特征,如公式(5)所示:步骤1.2.2:使用双向门循环神经网络和self-attention机制去获得文档向量,步骤

1.2.1的输出作为这个模型的输入;

使用双向门循环神经网络对句子进行编码,计算过程如公式(6)和(7)所示:将 和 结合得到丰富的数据信息,包括来自两个方向的历史和未来信息,值得注意的是,在文档级情感分析任务中,并非所有的句子对情感分类都发挥着重要的作用,为了强调出对分类重要的句子,引入self-attention机制,计算过程如公式(8)-(11):yi=tanh(Wqfi+B)   (8);

Zi=innerproduct(yi,ri)   (9);

其中,B表示偏移量,Wq表示权重, 是注意力特征矩阵,ri是句子级上下文向量,能在训练过程中被学习得到,h*即文档向量特征。

6.根据权利要求5所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,所述步骤2,具体包括以下子步骤:步骤2.1:计算领域语料中每个词的tf-idf值,如公式(12)所示:其中,n代表某类c在文本集合中含有特定词语t的文本数量,m代表在文本中含有词语t的文本数量,S代表语料集中包含的文本数量;

之后,得到一个词集,如公式(13)所示:

D={(d1,tf-idf'1),(d2,tf-idf'2),...,(dt,tf-idf't)}   (13);

其中,dt代表文档中的每个词,t的范围是t∈Rd,idft'代表改进的反文档频率,tf代表词频;

步骤2.2:用词频统计筛选掉低频的词,与情感词典结合产生情感词,出现在情感词中且在SentiNetWord中情感强度较大的被选为情感种子词,集合为:N={(n1,wk1),(n2,wk2),...,(nj,wkj)},其中,ni是情感种子词,wki是ni对应的情感权重向量;

步骤2.3:通过特定领域的语义相似性衡量来计算未知情感词di(i≤t)和情感种子词ni的相似性,包括基于Skip-gram词向量模型和词的相似性,Sii,j=(S',SS”);Sii,j代表词的相似性和Skip-gram相似性的结合;

其中,di∈D',ni∈N,D'是D的子集,表示未知情感的词集,S'表示Skip-gram相似性,S”表示词的相似性;

为了更清楚地表示每个词与情感词的两种相似性,我们创建了包括Skip-gram相似性和词的语义相似性的综合矩阵Q,如公式(14)所示:其中,d'代表未知情感的词,nn代表种子情感词。

步骤2.4:将Sii,j与情感权重向量进行相乘,得到ei,ei为情感特征向量,如公式(15)所示:

7.根据权利要求6所述的一种基于特定领域情感词的文档级情感分析方法,其特征在于,所述步骤3,具体包括以下子步骤:步骤3.1:文档向量特征与情感特征向量结合得到文档特征O,如公式(16)所示:步骤3.2:添加一个线性层将文档向量特征转换成真值向量,它的长度是类别C,然后使用一个softmax函数将真值转化为条件概率,计算过程如公式(17)所示:y=softmax(WoO+b)  (17)

其中,Wo是权重,b是偏移。