欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020108499583
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2023-08-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于BERT微调模型的评论目标情感分析解决方法,包括BCR‑CRF目标抽取模型和BCR‑DA目标情感分类模型,其特征在于:所述BCR‑CRF目标抽取模型和所述BCR‑DA目标情感分类模型分为在线课程评论情感分析、BCR‑CRF目标抽取模型和BCR‑DA目标情感分析模型和真实中文在线课程评论数据集上的实验结果;且分析步骤如下:第一步:基于大规模中文评论语料库进行域内无监督训练BERT预训练模型BCR;

第二步:引入ConditionalRandomField层,简称CRF层,对BCR模型中语义表征层的输出序列添加语法约束,保证预测标签间依赖关系的合理性,准确抽取课程评论文本中的评论目标,所述BCR‑CRF中文在线课程评论目标抽取模型步骤为:输入编码层对预处理完成后的原始中文在线课程评论进行编码;语义表征层接收输入编码层输出的评论编码进行语义提取,并将其输入到CRF层进行联合建模,有效解决了原始BERT在中文在线课程评论目标抽取中存在的依赖性和相关性问题;

第三步:构建包含双注意力层的BCR‑DA模型分类表达课程评论目标的情感极性;上注意力机制根据目标向量学习上下文向量分配注意力值,下注意力机制计算上下文中每个汉字对评论目标中某个汉字的重要程度,缓解上注意力层出现的信息丢失问题,输入编码层对BCR‑CRF目标抽取完成的课程评论目标及其上下文进行编码;语义表征层对输入编码层输出的目标编码和上下文编码分别进行语义提取,并将其输入到DA层捕获目标和上下文词之间的相互联系;最后,通过情感分类层对课程评论中所含目标对应的情感极性进行分类表达;

DA层采用双层注意力机制连接和融合来自目标和上下文的语义信息,为目标相关的情感特征提供更多的线索,上层注意力机制关注目标序列与上下文序列间的关系,下层注意力机制通过捕获目标序列和上下文序列内汉字级别交互的关键信息,解决上层注意力机制在处理多个汉字目标序列和长序列上下文时目标情感分析模型信息缺失的问题。

2.根据权利要求1所述的一种基于BERT微调模型的评论目标情感分析解决方法,其特征在于:所述在线课程情感分析分为评论目标抽取、目标情感分析和预训练语言模型;

评论目标抽取可看作序列标注任务,是目标情感分析的基础,对评论目标进行随机抽取,并进行详细记录;

目标情感分析旨在获取目标实体情感极性,在评论目标在线课程结束后进行采集情感数据,并进行分析。

3.根据权利要求1所述的一种基于BERT微调模型的评论目标情感分析解决方法,其特征在于:输入编码层采用与上下文有关的BCR动态字编码模型,不仅能够动态编码短句课程评论中某字在不同语境中的语义,而且也可以编码长句课程评论中各个分句间的逻辑关系,短句课程评论采用随机MASK评论语句中15%的汉字进行编码,其中,80%的几率用MASK替换;10%的几率用任意另外一个汉字替换;10%的几率保持原本语句不变,长句课程评论编码的具体做法是:在各个分句的起始位置添加特殊的SEP令牌,随机替换部分子句,通过模型中内嵌的二分类子模型判断各个分句间是否存在逻辑关系。

4.根据权利要求1所述的一种基于BERT微调模型的评论目标情感分析解决方法,其特征在于:语义表征层由n个transformer编码单元构成,Transformer编码单元中最重要的部分是由多个自注意力机制构成的多头注意力模块,多头注意力模块通过计算课程评论语句中的每个汉字与句中其余汉字词的相互关系,为了解决传深度学习中的梯度消失问题和加速模型训练,Transformer编码单元还使用了shortcutconnection和层归一化方法。

5.根据权利要求1所述的一种基于BERT微调模型的评论目标情感分析解决方法,其特征在于:CRF在抽取在线课程评论文本目标时会严格限定输出的标签仅与上一级标签以及当前输入相关,BCR模型以整个句子作为上下文来抽取在线课程评论文本中的目标,但是状态转移条件的缺失使其可能输出一个完全错误的目标序列,将BCR模型的输出作为CRF的输入来实现在线课程评论文本目标抽取,既可以有效获取评论文本中目标的上下文信息,又能保证标签间依赖关系的合理性。