欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019101082586
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.Spark框架下分布式深度学习的量子优化调参方法,具体步骤如下:Step1:采集数据并进行预处理和分组:

Step1.1:将历史数据基于分布式文件系统(Hadoop Distributed File System,HDFS)进行存储;

Step1.2:对历史数据存在的不一致性、冗余性、不完整性以及噪声和错误问题进行预处理;

Step1.3:将所有历史数据分成两组:训练集和测试集;

Step1.4:整个分布式集群包括1个主节点和P个独立的从节点,将所有历史数据平均分成P组,对历史数据集合进行初始分组;

Step2:确定生成对抗网络结构参数:初步构建深度神经网络,设定包括层数、各层节点数、权重和学习率,Spark主节点将参数信息广播给从节点;

Step3:通过数据并行的方式训练生成对抗网络模型,初始训练过程如下:Step3.1:生成对抗网络模型训练目标函数描述如下:

上式中,D和G分别代表微分函数判别器和生成器,x代表输入的真实数据,Pdata(x)代表真实数据集分布, 代表输入真实数据的计算期望值,D(x)代表x来源于真实数据而非生成数据的概率,z代表随机噪声矢量,Pz(z)代表先验分布, 代表随机噪声失量的计算期望值,G(z)代表生成的尽量服从真实数据分布的数据;

Step3.2:使用自下而上的非监督学习:采用无标签数据,从第一层开始,逐层训练各层参数,将上一层的输出作为下一层的输入,学习得到各层的参数;

Step3.3:自顶向下的监督学习:利用带标签的数据去训练,通过反向传播(Back Propagation,BP)算法分别更新生成对抗网络以执行竞争性学习,误差自顶向下传输,对网络进行微调;

Step3.4:目标函数为公式1所示,当且仅当真实数据集分布概率和生成器数据分布概率相等时,达到纳什均衡,至此生成对抗网络训练完成,保存此时得到的初步生成对抗网络结构参数,并将结果更新到主节点;

Step4:初始化基于Spark的分布式量子粒子群优化算法参数信息:Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解,再结合生成对抗网络结构参数对量子优化算法进行初始化,其中种群规模为M、维度为d、迭代次数为Tmax、适应度评估次数为Evamax;

Step4.2:确定量子优化算法的适应度函数:以生成对抗网络网络模型的损失函数最小化为目标,将适应度函数定义为均方误差(Mean Square Error,MSE),适应度函数如下:上式中,N代表数据集大小,yio代表第i个数据集对应的实际输出,yi代表第i个数据集对应的期望输出;

Step4.3:基于Spark框架的种群并行化:整个种群分布采用主从模型,对应P个从节点,将整个种群均匀划分为P个子种群,分别表示为子种群1,子种群2,……子种群P,Pbest代表个体最优,同时选取最小的Pbest作为初始全局最优Gbestg;

Step5:各个从节点分布式进行独立进化,并通过主节点进行汇总,依据上次迭代时的个体最优和全局最优更新连接权重,计算每个粒子对应的适应度函数值;

Step5.1:计算个体最优位置,公式如下:

Pid=μPbest+(1-μ)Gbestg  (公式3)

其中,Pid代表第i个个体最优位置,μ为0到1之间的随机数;

Step5.2:独立计算每个子种群对应的局部平均最优位置,公式如下:上式中,mbestj代表第j个子种群的局部平均最优位置,K是子种群个体数目;

Step5.3:主节点对所有从节点计算的局部平均最优位置进行求平均,可得全局平均最优位置并将计算结果返回给各个从节点,公式如下:上式中,mbest为全局平均最优位置;

Step5.4:各个子种群分别独立进化,更新每个个体的位置,公式如下:上式中,t代表当前迭代次数,Xid(t+1)为个体在第t+1代的位置,u是(0,1)之间的随机数,β是控制粒子收敛速度的收缩-扩张因子;

Step5.5:计算每个个体对应的适应度值,并同个体历史最优Pbest比较,如果当前值优于个体历史最优Pbest,则把当前适应度值替换为个体最优Pbest,否则不替换,将更新后的子种群局部最优发送给主节点;

Step5.6:主节点汇总各个从节点对应子种群的局部最优Gbestj,其中Gbestj代表第j个子种群的局部最优,然后将Gbestj同当前全局最优Gbestg逐一进行比较,若小于当前全局最优Gbestg,则更新全局最优Gbestg,否则不替换,将全局最Gbestg优传递给从节点;

Step5.7:判断是否达到设定的适应度评估次数或种群的迭代次数,如果任一条件满足则训练结束,各个从节点停止计算;若否,则继续返回到Step5.1,学习迭代过程继续直至收敛,整个量子优化分布式搜索参数完成,即整个Spark框架下分布式深度学习的量子优化调参环节结束;

Step6:评估深度学习模型的性能,将上述量子优化算法求得的最终解作为生成对抗网络模型的参数信息,带入测试数据集中对生成对抗网络模型的性能进行评估。