1.一种面向主机社区行为的异常流量检测方法,其特征在于,包括以下步骤:S10、利用配置于内网与外网之间的网络交换设备获取网络流量数据,并镜像到数据采集服务器解析、重组和存储;
S20、对数据采集服务器获取的网络流量数据进行固定时间窗口的处理和分析,通过对固定时间窗口的网络流量进行图模型的构建,生成该网络环境中主机的社交网络图的图序列;
S30、基于图序列进行主机社区行为挖掘,先识别出该时间窗口的主机社区,再抽取每个主机社区行为的特征值向量,进而量化主机社区行为的演化状态,同时构建每个正常主机社区行为的特征基线;
S40、基于每个正常主机社区行为的特征基线,利用偏离度计算方法将基线特征值与当前检测的主机社区行为的特征值进行主机社区行为状态变化的度量,获得每个检测时刻主机社区行为在网络流量中的异常程度值;
S50、将超出设定阈值范围的主机社区行为在网络流量中的异常程度值判定为异常流量,输出异常流量所涉及的主机集合。
2.根据权利要求1所述的面向主机社区行为的异常流量检测方法,其特征在于,所述步骤S10中存储网络流量数据时还对原始网络流量数据进行预处理,包括对原始网络流量数据的数据包进行合法性检查,以及将数据包汇聚成网络流。
3.根据权利要求1所述的面向主机社区行为的异常流量检测方法,其特征在于,所述步骤S20中对固定时间窗口的网络流量进行图模型的构建具体为:从存储的网络流量数据中以固定时间窗口形式获取数据集,以主机为社交网络图的节点,以网络流为边,生成每个时间窗口的图模型。
4.根据权利要求1所述的面向主机社区行为的异常流量检测方法,其特征在于,所述步骤S30中计算每个主机社区演化状态的特征值向量,以及正常主机社区行为的特征基线包括:从每个时间窗口的图模型,依次识别主机社区、识别每个主机社区事件,根据主机社区行为的特征集及其度量方法,计算并存储每个主机社区对应时间窗口的特征值;
利用主机社交网络图获取主机社区,计算并存储每个主机社区对应时间窗口的特征值向量;
利用异常数据校验方法剔除采集到的数据样本中的异常值,获得第一轮每个主机社区行为的基线;
利用后续时间窗口的数据继续量化主机社区行为,用正常值定期更新到每个主机社区行为的基线,由此形成自更新模式的正常主机社区行为的特征基线。
5.根据权利要求4所述的面向主机社区行为的异常流量检测方法,其特征在于,所述第一轮每个主机社区行为的特征基线的异常数据校验方法为箱型图分析方法。
6.根据权利要求4所述的面向主机社区行为的异常流量检测方法,其特征在于,所述主机社区行为的特征集包括:主机社区各个不同状态的检测窗口特征集,用于统计检测窗口的主机社区处于不同状态的个数;
主机社区成员数的特征集,用于统计每个主机社区的主机成员数的均值、最大值、最小值、中位数;
主机社区各个不同状态数的特征差集,用于计算并统计当前检测窗口与相邻窗口的特征值变化情况;
主机社区内主机成员的相似度,用于统计当前时间窗口各个主机社区之间的主机成员的IP地址的相似度、入度和出度的相似度;
主机社区内部主机成员的相似度特征差集,用于计算并统计当前检测窗口与相邻窗口的每个主机社区的主机成员的相似度变化情况。
7.根据权利要求6所述的面向主机社区行为的异常流量检测方法,其特征在于,根据主机社区行为的特征集计算主机社区行为的特征值的统计值,包括最大值、最小值、中位数、方差、均值。
8.根据权利要求7所述的面向主机社区行为的异常流量检测方法,其特征在于,所述步骤S40中计算偏离度的过程为:从当前检测窗口的主机社交网络图中提取每个主机社区行为的特征值;
基于每个主机社区行为的特征基线,利用余弦相似性方法计算特征向量空间的距离,得到每个主机社区行为的异常程度值。
9.根据权利要求8所述的面向主机社区行为的异常流量检测方法,其特征在于,所述偏离度计算中以三个角度量化:以主机社区行为演化状态为度量、以主机社区行为的主机成员规模变化情况为度量、以主机社区行为与主机社区行为基线的特征空间距离为度量。
10.根据权利要求9所述的面向主机社区行为的异常流量检测方法,其特征在于,所述步骤S50中异常程度判定过程为:利用箱型图分析方法初选阈值,并根据每个主机社区行为偏离度的历史数据和初选阈值来设置阈值,当主机社区行为的异常程度值超出阈值范围时,则判断为异常。