1.基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,包括以下步骤,步骤1:收集多个样本日的负荷功率和影响因素数据,形成数据集并分为训练集、验证集和测试集;
步骤2:设置模型超参数;
步骤3:建立约束并行LSTM模型,约束并行LSTM模型包括输入层、隐藏层、输出层和回归层,隐藏层包括多个分位点长短期记忆网络模型;采用并行式训练方法,对约束并行LSTM模型中各个分位点LSTM进行预训练,获得权重、偏置参数集;
分位点长短期记忆网络模型Q‑LSTM包括输入门 、遗忘门 、输出门 、候选存储单元 ;
选取预测前日的96点负荷功率与预测日的24时刻气温和分区降雨量组成多维特征输入变量向量,以预测日的96点负荷分位数作为输出变量向量;
并行式训练通过GPU分布式计算实现,将训练集均等分为多个子集,分配到计算系统的各个节点,每个计算节点负责处理该数据集的一个不同子集,从而减少神经网络训练总时间,将每个节点训练得到的参数集合,运用梯度下降公式计算新的全局权重集,进而分配给计算系统的每一个节点,其公式为:(φ)
其中Zφ={W, b} 为第φ次迭代训练得到的全局参数集,△Zφ,j为第φ次迭代训练得到的第j个计算节点的参数梯度,n为计算节点的总个数, 为缩放系数;
每个节点单独训练的分位点长短期记忆网络模型Q‑LSTM,训练过程为:(1)输入初始权重W0(τi)和初始偏置b0(τi);
(2)计算LSTM的输入门 、遗忘门 、输出门 、候选存储单元 、新的存储状态 、隐藏层状态 的当前迭代值 、 、 、 、 、 ,计算过程如下:给定当前输入xt,上一时刻隐含层状态ht‑1和存储状态Ct‑1,详细的计算过程为:其中,Wi、Wf、Wo、Wc分别代表相应的权重矩阵,bi、bf、bo、bc分别代表相应的偏置向量;σ (·) 和tanh(·)分别为Sigmoid 和正切S形曲线激活函数;输出层的最终输出 由隐含层状态ht计算:其中WS是隐含层与输出层的连接权重矩阵,bS表示相应的偏置向量;
(3)根据损失函数利用梯度下降法计算梯度 和 ,并据此计算各权重和偏置的梯度,损失函数为:
其中W(τi)={Wf(τi),Wi(τi),Wc(τi),Wo(τi),WS(τi)},b(τi)={bf(τi),bi(τi),bc(τi),bo(τi),bS(τi)}分别为分位点 下LSTM神经网络的全部权重参数矩阵集合和偏置向量集合;
λ1为防止模型训练过拟合的正则项惩罚参数, 为检验函数;
隐含层至输出层参数的梯度为:
为隐藏层状态 对隐含层与输出层的连接权重矩阵WS微分, 为隐藏层状态 对偏置向量bS微分;
根据 、 分别计算遗忘门、输入门、候选存储单元和输出门参数的梯度;
(4)更新权重和偏置,公式为:
其中η为学习率,W*和b*分别代表相应的权重矩阵和偏置向量;
重复步骤(2)‑步骤(4),直至达到收敛条件,获得模型最优参数{W(τi), b(τi)}opt;
步骤4:将得到的权重、偏置参数集{W(τi), b(τi)}opt作为约束并行LSTM模型的初始参数,对约束并行LSTM模型进行整体训练,训练过程中对权重、偏置参数进行微调,确定约束并行LSTM模型的最佳权重、偏置参数;
为获得约束并行LSTM模型的最佳参数,基于训练样本集,采用梯度下降法搜寻使损失函数最小的模型参数{W(τi), b(τi)}opt;约束并行LSTM模型的训练方法与分位点长短期记忆网络模型Q‑LSTM训练方法一致,只是在损失函数和梯度有差别,约束并行LSTM模型损失函数 为:其中
;
为违反约束条件的惩罚参数;
遗忘门、输入门、存储单元、候选存储单元和输出门参数的梯度计算与步骤3中计算方式相同;
步骤5:将验证集输入训练好的约束并行LSTM模型,根据验证误差选出模型的最佳超参数;
步骤6:将测试样本输入具有最佳超参数的约束并行LSTM模型,对约束并行LSTM模型输出的预测结果进行反归一化,得到预测日中各时刻预测负荷的多个分位数预测值;
步骤7:根据步骤6得到的预测负荷的多个分位数,计算得到预测点的概率密度曲线。
2.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,步骤1还包括对数据集的各类数据进行归一化,将数据变量归一化到[‑1,1]区间。
3.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,步骤2中,所述模型超参数包括神经元的数量m、样本的时窗长度l、节点数n和惩罚项参数λ1、λ2。
4.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,所述计算得到预测点的概率密度曲线采用高斯核密度估计方法。
5.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,步骤6的预测结果采用计及分位数约束关系的评价指标评价分位数的交叉情况,计及分位数约束关系的指标为:其中 表示计及分位数约束关系的评价指标值; 是t时刻分位点 下的预测值,N为测试时刻的总数,vt,i为约束违反程度函数,θ表示分站点之间的步长;当相邻分位数之间满足约束关系时,vt,i为0,而当违背约束关系时,vt,i为相邻分位数的正差值,反映约束违反的程度;系数项2θ/N为分位数约束误差平方的归一化系数。
6.根据权利要求1‑5任意一项所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法,其特征在于,步骤1按照8:1:1的比例,将数据集划分为训练集、验证集和测试集。