1.一种面向深度强化学习的策略保护防御方法，其特征在于，包括以下步骤：

1)搭建深度强化学习的目标智能体自动驾驶模拟环境，基于强化学习中的深度Q网络预训练目标智能体以优化深度Q网络的参数；

2)根据优化后的深度Q网络的策略πt生成T个时刻目标智能体驾驶序列状态动作对和奖励值作为专家数据；

3)根据专家数据模仿学习生成模仿策略πIL；

4)目标智能体在模仿策略πIL的基础上对自身的策略进行调整学习，通过对深度Q网络进行微调并修改目标函数，使得在保证目标智能体策略πt可以获得较高的期望奖励值的同时，保证根据模仿策略πIL得到的期望奖励值较低，以达到策略保护的目的。

2.根据权利要求1所述的面向深度强化学习的策略保护防御方法，其特征在于，步骤1)包括：

1.1)搭建深度强化学习的目标智能体自动驾驶模拟环境；

1.2)基于强化学习中的深度Q网络训练目标智能体，训练目标是在较短的时间内安全地到达目的地；

1.3)训练过程中，将目标智能体的状态转换过程存储在经验回放缓冲区Buff中，作为深度Q网络的训练数据集；所述的深度Q网络包括当前Q网络和目标Q网络；

1.4)从经验回放缓冲区Buff中随机采样N个训练数据集，通过最小化当前Q网络的预测Q值和目标Q网络的目标Q值的均方差来更新当前Q网络的网络参数；每隔一段时间将当前Q网络的参数复制给目标Q网络。

3.根据权利要求1所述的面向深度强化学习的策略保护防御方法，其特征在于，步骤3)包括：

3.1)将专家数据中的状态s作为Actor网络的输入，根据初始化的模仿策略πIL(a|s)输出Actor网络所采取的动作a'；

3.2)将a'和专家数据中的状态s作为状态动作对(s,a')，与专家数据中对应的状态动作对(s,a)一起输入到判别器网络当中，对其产生的动作进行判别，利用判别器网络的输出yD来作为奖励值以指导模仿策略πIL的学习；

3.3)在模仿策略πIL的学习过程中，通过最大化得到的期望奖励值来学习专家数据的策略，最小化损失函数以更新Actor网络和判别器网络的参数；

3.4)重复步骤3.2)‑3.3)，迭代更新Actor网络和判别器网络的结构参数以学习专家数据的策略，得到模仿策略πIL。

4.根据权利要求3所述的面向深度强化学习的策略保护防御方法，其特征在于，所述判别器网络的损失函数为：其中，πIL表示模仿学习得到的策略；πt表示采样的专家策略；第一项中的logD(s,a)表示判别器对真实数据的判断；第二项log(1‑D(s,a))则表示判别器对生成数据的判断。

5.根据权利要求3所述的面向深度强化学习的策略保护防御方法，其特征在于，步骤

3.3)中，通过梯度求导来最小化损失函数从而反向更新判别器和Actor网络参数，其损失函数如下：其中， 是模仿策略πIL的熵，由常数λ(λ≥0)控制，作为损失函数中的策略正则项。

6.根据权利要求1所述的面向深度强化学习的策略保护防御方法，其特征在于，步骤4)中，对深度Q网络进行微调包括：将深度Q网络最后的Q网络层进行复制扩充，得到k个并行的Q网络层；

在训练过程中，随机从k个Q网络层中选择一个作为Q值输出层用于进行策略动作选取；

更新参数时，从经验回放缓冲区Buff中进行数据采样，然后利用泊松分布生成一个k×1的掩码对k个Q网络层进行参数更新，利用k个Q值的平均值 作为目标智能体策略πt进行学习和模仿。

7.根据权利要求1所述的面向深度强化学习的策略保护防御方法，其特征在于，步骤4)中，修改目标函数包括：在目标函数上增加基于模仿策略πIL惩罚项，得到损失函数为：其中，τ1和τ2分别是根据目标策略πt和模仿策略πIL得到的轨迹数据；V(st)为t时刻状态的值函数；R(t)为t时刻的奖励值。

8.根据权利要求7所述的面向深度强化学习的策略保护防御方法，其特征在于，分别采样N1和N2个轨迹，对损失函数进行策略梯度求导，可得：其中， πt表

示目标智能体的策略，πIL表示模仿策略，

对深度Q网络进行参数更新，可得到新的网络参数：

θ←θ+α(C1+C2)，

其中，α和β表示参数更新的学习率。