1.云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于该方法包括如下步骤:
步骤1:基于Linux内核操作函数构建实时监控大数据分析系统性能的代理程序,监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗,作为深度神经网络模型的目标输出,以训练深度神经网络模型;
步骤2:建立系统自适应配置的深度神经网络模型,所述深度神经网络模型输入为系统配置参数和待处理数据,输出为系统性能;将系统配置参数和待处理数据信息向量化,输入到深度神经网络模型的输入层;深度神经网络模型向量化输出系统性能;
步骤3:通过监督学习来训练所述深度神经网络模型,具体是:首先固定待处理数据输入参数不变,不断改变系统的配置参数,得到系统性能输出向量,与步骤1中得到的实际系统性能相比较,然后通过反向传播算法不断更新模型参数,得到初始模型;再不断为该深度神经网络模型输入数据,同样用监督学习和反向传播算法来训练该模型,检验该模型的准确性;不断训练深度神经网络模型,直至达到目标要求;
步骤4:根据步骤3中训练所得到的深度神经网络模型,得到系统性能与系统配置和数据输入参数的相关关系,生成映射表,该映射表在实际数据更新并输入计算,依据神经网络模型不断更新的参数,而不断更新此映射表;
步骤5:针对目标大数据分析系统,向深度神经网络模型系统输入待处理数据与目标系统性能,根据系统性能与系统配置参数的映射表,获取系统配置参数,以实现系统自适应配置;
步骤6:在得到稳定的深度神经网络模型后,对深度神经网络模型进行剪枝以进行模型压缩;具体是对模型进行网络剪枝,删减对神经网络模型不重要的参数:首先设置一个权值参数阈值,将每条连接上的权值与阈值相比较,将权值小于阈值的连接进行剪枝,完成全部剪枝后重新训练该神经网络模型,对训练好的模型再剪枝,再重新训练该神经网络模型,直到满足所设定条件;
步骤7:循环执行步骤1至步骤6,直到大数据分析系统终止。
2.根据权利要求1所述的云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于:所述的深度神经网络模型中的隐藏层设置为两层,可根据实际需求更改隐藏层层数和神经元节点数量;神经元与神经元之间连接的权值需初始设置,以便训练神经网络模型。
3.根据权利要求1或2所述的云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于:网络剪枝得到稀疏连接的神经网络模型后,通过权值共享,生成一张权值码表,里面记录了权值聚类后每一类的平均权值,而每条连接不需要存储具体权值参数,只需存储码本上对应权值的索引;然后对码本上的权值进行量化操作,用8比特长度的存储来表示32比特的精度;最后对量化后的权值进行霍夫曼编码,进一步缩减存储空间;训练压缩后的神经网络模型,只要对码本上的码字进行更新即可,并不断更新步骤4中的映射表。