欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019100781051
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于眼动注意力的文本标题生成方法,所述方法包括如下步骤:S100:将源文本的文字序列进行词嵌入操作后把它输入到双向编码器;

S200:所述双向编码器从源文本的嵌入表示中提取上下文语义向量;

S300:根据源文本中每个单词的单词阅读时间计算单词和句子的眼动注意力权重;

S400:将步骤S200得到的上下文语义向量作为解码器第一层的初始状态,先计算解码器的第一层每个隐层状态与双向编码器所有的隐层状态匹配度;再利用所得到的匹配度,进一步计算单词的注意力上下文权重;进而根据所述注意力上下文权重、所述单词和句子的眼动注意力权重和双向编码器的隐藏状态计算得到眼动注意力上下文权重向量;

S500:把所述眼动注意力上下文权重向量、解码器第一层在当前时刻的隐藏状态和解码器第二层在上一时刻的隐藏状态输入到解码器第二层中生成相应的标题。

2.根据权利要求1的方法,优选的,步骤S100中的词嵌入方式为:使用在训练过程中自动学习的word2vec词嵌入数据和使用预训练的Glove词嵌入数据。

3.根据权利要求1的方法,所述双向编码器采用双向门控循环单元BiGRU。

4.根据权利要求3的方法,步骤S200进一步包括:

S201:所述双向门控循环单元BiGRU的前向GRU从左到右读取输入的文字序列,得到前向隐藏层序列;后向GRU从右到左读取输入的文字序列,得到后向隐藏层序列;

S202:由所述前向隐藏层序列和所述后向隐藏层序列合并得到所述双向编码器的隐藏状态;

S203:所述双向编码器根据所有时间步的隐藏状态生成上下文语义向量。

5.根据权利要求1的方法,步骤S300进一步包括:

S301:根据眼动数据进行回归预测,分析出源文本中每个单词的阅读时间;

S302:基于单词的阅读时间计算出不同单词的眼动注意力权重;

S303:基于单词的阅读时间计算出不同句子的眼动注意力权重。

6.根据权利要求5的方法,步骤S301进一步包括:

S3001:基于深度神经网络的回归分析方法,使用眼动数据作为训练数据;

S3002:利用神经元自动学习文本的潜在特征,确定源文本中的单词和阅读时间的映射关系。

7.根据权利要求6的方法,所述的回归分析方法包括:Elman循环神经网络神经元ERNN,长短时记忆LSTM神经元和门控循环单元GRU。

8.根据权利要求5的方法,步骤S302中的所述单词的眼动注意力权重采用公式计算得到,其中, 是单词 的眼动注意力权重, 代表 的阅读时间,k代表句子sj的长度, 表示句子sj的第i个单词,sj表示源文本中的第j个句子。

9.根据权利要求5的方法,步骤S302中的所述句子的眼动注意力权重采用公式计算得到,其中, 是句子sj的眼动注意力权重,l代表句子的数量, 代表 的阅读时间,k代表句子sj的长度, 表示句子sj的第i个单词,sj表示源文本中的第j个句子。

10.根据权利要求1的方法,步骤S400中的眼动注意力上下文权重向量是采用如下具体步骤获得的:S401:采用能量函数 计算解码器的第一

层每个隐层状态与双向编码器所有的隐层状态匹配度,其中ei,j是对应的源文本的单词对即将生成的目标单词的影响力,v是权重向量, 和Ve是权重矩阵, 代表编码器第一层在第i-1个时间步时的隐藏状态, 代表编码器在第j个时间步的隐藏状态,b是偏置向量,g和r是标量参数,θ(·)是双曲正切激活函数;

S402:利用上述能量函数得到的匹配度,进一步计算单词的注意力上下文权重;

S403:把所述注意力上下文权重、所述单词和句子的眼动注意力权重和双向编码器的隐藏状态通过加权线性组合得到眼动注意力上下文权重向量。