欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105725946
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于输入变化微分的灵敏长短期记忆方法,其特征在于,包含以下具体步骤:步骤1),建立LSTM神经网络的神经单元,其包含三个结构:输入门it,遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,...,xt};

步骤2),通过遗忘门决定从神经单元状态中需要丢弃的信息:令上一时刻的输出值为ht-1、当前时刻的输入值xt,将ht-1和xt输入到Sigmoid函数中,得到0和1之间的输出到单元状态的值,0表示全部遗忘,1表示保留全部信息,该值与单元状态相乘之后来确定舍弃信息;遗忘门的输出值ft的计算公式为:ft=σ(wf*[ht-1,xt]+bf)

其中,wf、bf分别为遗忘门Sigmoid函数中的权重矩阵、偏置向量,σ为Sigmoid激活函数;

步骤3),通过输入门决定向神经单元状态中的保存信息:将ht-1和xt输入到Sigmoid函数,得到输出值it;将ht-1和xt输入到tanh函数,得到输出值kt;it、kt的计算公式为:it=σ(wi*[ht-1,xt]+bi)

kt=tanh(wk*[ht-1,xt]+bk)

其中,wi、wk分别为输入门Sigmoid函数、tanh函数中的权重矩阵,bi、bk分别为输入门Sigmoid函数、tanh函数中偏置向量;

步骤4),为了增加对于短时间信息的反应能力,对单元状态增加新输入xt-xt-1,即该时刻的输入与上一时刻的输入的差,将xt-xt-1、ht-1输入至Sigmoid函数得到输出值jt、将xt-xt-1、ht-1输入至tanh函数得到输出值pt,将jt、pt相乘之后加入到单元状态中,这能够增加网络对短时信息的反应能力,增加实时性;jt、pt的计算公式如下:jt=σ(wj*[ht-1,xt-xt-1]+bj)pt=tanh(wp*[ht-1,xt-xt-1]+bp)其中,wj、wp分别为对单元状态增加新输入xt-xt-1时Sigmoid函数、tanh函数中的权重矩阵,bj、bp分别为对单元状态增加新输入xt-xt-1时Sigmoid函数、tanh函数中偏置向量;

由此,得到下一时刻的单元状态为:

Ct=ft*Ct-1+it*kt+jt*pt

步骤5),通过输出门决定从神经单元状态中的输出信息:将ht-1和xt输入到Sigmoid函数,得到输出值Ot,然后,对单元状态Ct用tanh函数处理处理后乘以输出值Ot,得到传递给下一时刻的输出值ht;Ot、ht的计算公式为:Ot=σ(wO*[ht-1,xt]+bO)

ht=Ot*tanh(Ct)

其中,wO、bO分别为输出门Sigmoid函数中的权重矩阵、偏置向量;

步骤6),采用LSTM算法中的学习算法讲行学习,完成灵敏长短期记忆。