1.一种基于神经网络和大数据的网络安全态势分析方法,其特征在于,应用在包括输入层、隐含层和输出层的神经网络上,包括:通过Flume组件在神经网络的输入层实现分布式的大数据采集;
通过MapReduce并行化计算在神经网络的输入层实现对采集的大数据进行清洗预处理、清洗和态势分析,将获得的初步态势预测结果输出给神经网络的隐含层;所述清洗包括数据降维和聚类分析;所述态势分析包括关联规则挖掘和基于时间维度的初步态势预测;
神经网络隐含层的每一个神经元接收所述输入层输出的初步态势预测结果,隐含层根据输入层与隐含层神经元之间的连接权值及隐含层神经元的输出阈值进行信息融合获得局部态势判决结果并输出给神经网络的输出层;
神经网络输出层的每一个神经元接收所述隐含层输出的局部态势判决结果,输出层根据隐含层与输出层神经元之间的连接权值及输出层神经元的输出阈值进行信息融合和自学习获得总体的安全态势判决结果,并存储到HBASE数据库中;
所述清洗预处理的步骤包括:
分片采集到的大数据;
数字化分片数据中每一条记录中的流量特征;
去除记录中的无关特征和符号;
合并预处理好的数据并输出。
2.根据权利要求1所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述数据降维采用特征分解算法对数据进行降维,包括:将清洗预处理后的数据转化为矩阵A;
通过矩阵A转换得到临时的对角矩阵B;
将对角矩阵B进行特征分解得到特征向量矩阵C;
将特征向量矩阵C和矩阵A相乘得到待处理数据的特征向量矩阵D;
将原始矩阵A和矩阵D的转置相乘得到最终的降维数据。
3.根据权利要求2所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述聚类分析采用欧氏距离来判断,把每一条记录属于哪一个类别进行划分,包括:扫描降维后的数据,随机选取若干个点作为初始的聚类中心;
将降维后的数据按照相同的大小进行分片处理;
每个计算节点读取数据,根据初始聚类中心进行聚类;
重新计算新划分的每一个类别的中心;
汇总所有的新的聚类中心;
判断是否满足聚类分析的结束阈值,若满足条件则根据新的聚类中心输出数据。
4.根据权利要求3所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述关联规则挖掘采用并行频繁项集挖掘算法来发现每一条记录之间的关联规则,包括:扫描聚类后的数据并进行数据的切片分组;
将每一个分组的数据生成一棵蕴含频繁项集的FP树;
对生成的FP树进行关联规则和频繁项集的挖掘;
根据挖掘的频繁项集分析并存储安全状况和危险状况下的记录特征。
5.根据权利要求4所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述基于时间维度的初步态势预测,包括:基于数据记录采集的时间先后,将数据按照时间段进行分片,划分时间段后,通过对比前一个时间段和当前时间段数据记录的安全状况和危险状况进行初步态势预测。
6.根据权利要求5所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述信息融合和自学习的步骤包括:
隐含层的神经元和输出层的神经元全连接,输出层接收来自隐含层的所有局部态势判决结果;
初始化每一层中的每一个神经元所包含的权值和阈值;
输出层将隐含层的所有输出和对应的权值相乘后进行累加,并将所有的局部态势判决结果进行融合;
把本次融合后的结果和前一次融合后输出层的结果进行比较,获得学习误差;
根据获得的学习误差调整每一个神经元的权值和阈值;如果学习误差为正值,则按照比例减小权值和阈值;如果学习误差为负值,则按照比例增大权值和阈值;
判断学习误差是否在预设的可接受的范围之内或者是否达到学习的最大次数;如果是,输出安全态势判决结果。
7.根据权利要求1所述的基于神经网络和大数据的网络安全态势分析方法,其特征在于,所述输入层的神经元和隐含层的神经元全连接。
8.一种基于神经网络和大数据的网络安全态势分析系统,其特征在于,包括:数据采集模块、数据分析模块和态势预测模块;所述数据采集模块用于通过Flume组件在神经网络的输入层实现分布式的大数据采集,并将采集到的大数据输出给所述数据分析模块;所述数据分析模块用于通过MapReduce并行化计算在神经网络的输入层实现对输入的大数据进行预处理、清洗和初步态势预测,并将初步态势预测结果输出给所述态势预测模块;其中所述清洗预处理具体包括分片采集到的大数据,数字化分片数据中每一条记录中的流量特征,去除记录中的无关特征和符号,合并预处理好的数据并输出;所述态势预测模块用于通过神经网络隐含层和输出层的信息融合和自学习获得总体的安全态势判决结果,并将所述安全态势判决结果存储到HBASE数据库。