1.一种基于强化学习自编码器的脑电数据重建方法,其特征在于包括如下步骤：步骤S1.原始数据采集：

用Openvibe搭建模拟平台，设计模拟道路行走的P300信号刺激范式；同时选取N名同一年龄段的被试青年，在模拟道路上行走，采集其在行走过程中突然出现的金币刺激下的长度为T的脑电数据；

步骤S2.数据处理：

对采集到的原始脑电数据进行预处理，采用高通滤波和低通滤波消除噪音干扰；用独立成分分析消除眼电干扰；再消除干扰的伪记，得到用于后续模型训练的脑电数据；

步骤S3.网络EEG‑RL‑AE模型的构建与训练：

S3‑1：初始化：

网络EEG‑RL‑AE模型包括自编码器AE和强化学习自编码器以及数据判别器D，初始化自编码器AE的参数和强化学习自编码器的参数；

S3‑2：训练自编码器：

将脑电数据作为训练集输入，然后用自编码器训练输入的脑电数据，更新自编码器AE的参数，获得较好的参数模型；

S3‑3：训练强化学习自编码器：

将脑电数据作为训练集输入，然后用强化学习自编码器训练输入的脑电数据，更新强化学习自编码器参数，获得更优的参数模型；

S3‑4：反馈结果：

输入测试数据经过自编码器和强化学习自编码器的作用，得到结果，然后用数据判别器D判别这两个编码器的输出与输入数据的相似度，取相似度更高的那个数据作为最终结果；

步骤S4.评估结果：

用重建出来的数据与原数据比较相似度，来评估该模型数据重建的效果；

步骤S3具体实现如下：

S3‑1：初始化

EEG‑RL‑AE模型由自编码器AE和强化学习自编码器RL‑AE以及数据判别器D三个模块组成，分别将两个编码器的参数μAE、μRL‑AE进行初始化操作；

自编码器AE和强化学习自编码器RL‑AE网络各层的激活函数为ELU函数，其中x代表样本，其公式如式(1)所示：ELU(x)＝max(0,x)+min(0,α′*(exp(x)‑1))     (1)其中α′是超参数，默认为1.0；

自编码器AE训练时均使用MSEloss均方误差作为损失函数，其中x代表输入的数据样本，y代表训练模型产生的样品，i代表样本矩阵中的每个值，如公式(2)：2

MSELoss(xi,yi)＝(xi‑yi )         (2)AE与RL‑AE最后一层的激活函数是Tanh,如公式(3)：另外数据判别器D是用MSEloss去比较AE和RL‑AE产生的数据与输入数据的相似度；

S3‑2：训练自编码器

读取文件夹里的脑电数据，导入自编码器中；然后开始如下工作：编码：第一步利用卷积神经网络从输入图象中提取特征；具体采用三层一维卷积层，其中前两层每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层采用卷积核为4，步长为1，填充值为1的设置，用于特征的提取编码；

解码：利用反卷积层完成从特征向量中还原出低级特征的工作，这里采用三层一维反卷积层，其中第一个卷积层的卷积核为4，步长为1，填充值为1，经过第一个反卷积层后进行归一化并用ReLU函数激活，其他每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层反卷积后采用Tanh激活函数，最后得到生成EEG数据；

训练完如上操作后保存自编码器模型参数；

S3‑3：训练强化学习自编码器

强化学习自编码器使用的算法是DDPG，DDPG算法包括四个网络模型；

Actor在线策略网络：负责策略网络参数θ的迭代更新，负责根据当前状态S选择当前动作A，用于和环境交互生成下一次状态S′,奖励函数R；

Actor目标策略网络：负责根据经验回放池中采样的下一状态S′选择最优下一动作A′，网络参数θ′定期从θ复制；

Critic在线得分网络：负责价值网络参数w的迭代更新，折扣因子γ，负责计算当前Q值Q(S,A,w)；理想状态下的目标Q*值公式如式(4)所示:Q*＝R+γQ′(S',A',w')            (4)Critic目标得分网络：负责计算目标Q*值中的部分；网络参数w′定期从w复制，此外，DDPG为了学习过程增加一些随机性，增加学习的覆盖，该模型对选择出来的动作A会增加矩阵向量N,即最终和环境交互的动作A的表达式如式(5)所示：A＝πθ(S)+N                    (5)其中π表示当前选择的策略，θ为网络参数，S为当前状态；关于DDPG算法的损失函数，其使用的损失函数采用的是均方误差；

同时对奖励函数R作改进，x为输入的测试数据样本，其中α为折扣系数，Lt为DDPG模型本次得到的数据与原数据的均方误差；Lt‑1为DDPG模型上次得到的数据与原数据的均方误差；

LAE为测试数据直接在自编码器得到的数据与原数据的均方误差；公式如(6)所示：R(x)＝‑(α*(Lt‑Lt‑1)+(1‑α)*(Lt‑LAE))  (6)读取文件夹里的脑电数据，导入强化学习自编码器中；然后开始如下工作：编码：第一步利用卷积神经网络从输入图象中提取特征；具体采用三层一维卷积层，其中前两层每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层采用卷积核为4，步长为1，填充值为1的设置，用于特征的提取编码；

解码：利用反卷积层完成从特征向量中还原出低级特征的工作，这里采用三层一维反卷积层，其中第一个卷积层的卷积核为4，步长为1，填充值为1，经过第一个反卷积层进行归一化并用ReLU函数激活，其他每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层反卷积后采用Tanh激活函数，最后得到生成EEG数据；

强化学习DDPG算法参数训练：训练完编码和解码模型后，保存模型参数；将数据导入编码模型中，然后经过编码模型，得到矩阵向量，进入强化学习DDPG算法中，训练编码后的矩阵向量，加入新的矩阵向量，然后将矩阵向量放入解码模型中，最后得到生成EEG数据；

S3‑4：反馈结果

数据判别器D的工作内容：将上述S3‑2和S3‑3的模型生成的数据载入数据判别器D中，通过均方误差公式分别与输入的测试数据比较，均方误差值更小的数据作为最终EEG结果输出；

经过上面的步骤，得到训练完的模型；用输入测试数据集到训练完的模型中，然后分别通过自编码器和强化学习自编码器得到生成的EEG数据，然后将这两个得到的数据输入数据判别器D中，得到最终的EEG数据结果。