1.一种基于深度策略梯度的入侵检测算法，其特征在于，该算法中构建了入侵检测智能体，所述入侵检测智能体包括：能够根据历史入侵检测数据预测未来状态的感知模块；及根据当前入侵检测环境状态和历史信息决定此时采取什么入侵检测策略的决策模块；

应用所述入侵检测智能体，所述入侵检测算法包括如下步骤：

1)获取经过数据处理后的数据x1,x2,...,xT并生成特征向量作为当前环境状态状态st；

其中，所述当前环境状态st由入侵检测智能体与入侵检测环境交互生成；

2)选择执行动作at，环境反馈给智能体的奖励rt，以及交互生成的新的环境状态stt1，之后以元组(st，at，rt，sr+1)的形式存储在经验池中；

3)入侵检测智能体计算一个入侵检测过程所有时刻入侵检测环境反馈给入侵检测智能体的累积奖励以及期望值；

4)入侵检测智能体根据策略梯度算法更新入侵检测策略πθ，最终实现最大化步骤3)所获得的期望奖励；

5)判断是否到达终止状态，如果是，则执行步骤6)，否则返回到步骤2)；

6)入侵检测智能体根据最新的入侵检测策略进行入侵检测。

2.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤2)中的入侵检测环境包括：

1)策略：采用随机性策略，通过参数概率分布πθ(a|s)来表示，计算公式如下：πθ(a|s)＝p(a|s；θ)                                        (1)其中，p(a|s；θ)表示在给定参数θ的前提下，入侵检测智能体根据输入的状态s选择入侵检测动作a的可能性；

2)状态序列：包括不限于历史入侵检测数据、入侵检测智能体与入侵检测环境在交互过程中选择的执行动作at，环境反馈给智能体的奖励rt，以及交互生成的新的环境状态st+1；

3)动作

所述入侵检测智能体包括正常和报警两个入侵检测动作，具体动作种类如下所示：a∈{正常，报警}＝{1，0}                       (2)其中，0代表的是正常，1代表的是报警；

4)奖励值

奖励分为两个部分：在攻击面st的时候系统的检测准确率accuracy(st)和从攻击面st‑1切换到st的效率effective(st,st‑1)，β和γ为二者的调节系数；在攻击面st时的检测准确率方面，定义accuracy(st)如下：其中，evalz(st,i)为与奖励函数成正比关系的n个指标，evalf(st,i)为与奖励函数成反比关系的m个指标；

在攻击面从st‑1切换到st的效率方面，定义effective(st,st‑1)函数来计算系统的切换效率，公式如下：

effective(st,st‑1)＝λtime(st,st‑1)+μresource(st,st‑1)               (5)其中，time(st,st‑1)为系统从攻击面st‑1切换到st的时间，resource(st,st‑1)为系统从攻击面st‑1切换到st资源利用率的变化,λ和μ为二者的调节系数。

3.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤2)中的经验池可以存储各个策略交互产生的经验数据，每个策略都可以互相利用彼此之间的经验数据。

4.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤2)具体为：入侵检测智能体根据当前时刻t的环境状态st执行策略πθ，采取执行动作at，环境反馈智能体的一个奖励值rt；

5.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤3)中计算一个入侵检测过程所有时刻入侵检测环境反馈给入侵检测智能体的累积奖励，计算公式如下：

其中，τ＝{s1,a1,r1,s2,a2,r2,...,sT,aT,rT,sT+1}表示的是一个交互过程产生的交互轨迹，基于马尔可夫决策过程，即新的环境状态st+1的概率取决于当前环境状态st和执行动作at，T表示的是到达终止状态的时刻；

代表时间影响奖励程度的因子γ∈[0,1]用于折现未来奖励，累积奖励计算如下：其中，γ表示的是折扣因子，时间越久远的奖励对当前状态的评估影响越小，r(si,ai)表示的是在状态si下采取的动作ai；

计算所获得累积奖励的期望值，用L(θ)表示，计算公式如下：其中，P(τ|θ)即为策略πθ，策略是根据参数θ生成某一个交易动作的概率大小，计算公式如下：

N表示的是每次交易智能体与期货交易环境交互生成的轨迹数量，如果交易智能体与

1 2 N

期货交易环境总共交互N次，则生成的轨迹样本可以表示为{τ,τ,...,τ}。

6.根据权利要求5所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤4)实现最大化步骤3)所获得的期望奖励具体为：通过对L(θ)求偏导，从而实现最大化所获得的期望奖励，计算公式如下：其中，交互轨迹的对数概率计算公式如下：则对训练轨迹的对数概率求梯度的计算公式如下：最终策略梯度的计算公式如下：

利用策略梯度更新策略函数的参数θ，计算公式如下：new old

θ ＝θ +β▽θL(θ)                                           (14)其中，β表示的是学习率，β∈[0,1]；由于交易智能体所得到的奖励值不可能一直是正数，因此引入一个负的参数b，则新公式计算如下：

7.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述所述入侵检测智能体采用LSTM网络结构，LSTM网络总共有五层结构，分别是输入层、全连接层、LSTM层、全连接层、Softmax层；每个神经网络的单元都采用Relu函数作为激活函数；

LSTM网络的网络结构的softmax函数的计算公式：其中，z表示的是上一层的输出，softmax函数的输入，N表示的是N分类，本文是两类，分别是正常和报警，yi表示的是预测的目标属于第i类的概率。