欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019106766801
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于状态变化微分的灵敏长短期记忆方法,其特征在于,包含以下具体步骤:步骤1),建立LSTM神经网络的神经单元,其包含三个结构:输入门it,遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,...,xt};

步骤2),通过遗忘门决定从神经单元状态中需要丢弃的信息:令上一时刻的输出值为 当前时刻的输入值xt,将 和xt输入到Sigmoid函数中,得到0和1之间的输出到单元状态的值,0表示全部遗忘,1表示保留全部信息,该值与单元状态相乘之后来确定舍弃信息;遗忘门的输出值ft的计算公式为:ft=σ(wf*[ht-1,xt]+bf)其中,wf、bf分别为遗忘门Sigmoid函数中的权重矩阵、偏置向量,σ为Sigmoid激活函数;

步骤3),通过输入门决定向神经单元状态中的保存信息:将 和xt输入到Sigmoid函数,得到输出值it;将 和xt输入到tanh函数,得到输出值kt;it、kt的计算公式为:it=σ(wi*[ht-1,xt]+bi)kt=tanh(wk*[ht-1,xt]+bk)其中,wi、wk分别为输入门Sigmoid函数、tanh函数中的权重矩阵,bi、bk分别为输入门Sigmoid函数、tanh函数中偏置向量;

步骤4),为了增加对于短时间信息的反应能力,对单元状态增加新输入即上一时刻的状态输出与上上一时刻的状态输出的差,将 和预设的系数k相乘之后加入到单元状态中,这能够增加网络对短时信息的反应能力,增加实时性;

由此,得到下一时刻的单元状态为:

Ct=ft*Ct-1+it*kt+pt

pt=k*(Ct-1-Ct-2)

步骤5),通过输出门决定从神经单元状态中的输出信息:将 和xt输入到Sigmoid函数,得到输出值Ot,然后,对单元状态Ct用tanh函数处理处理后乘以输出值Ot,得到传递给下一时刻的输出值 Ot、的计算公式为:Ot=σ(wO*[ht-1,xt]+bO)ht=Ot*tanh(Ct)

其中,wO、bO分别为输出门Sigmoid函数中的权重矩阵、偏置向量;

步骤6),采用LSTM算法中的学习算法进行学习,完成灵敏长短期记忆。