具体实施方式

下面结合附图和实施例对本发明作进一步说明，以使本发明的优点和特征能够更加容易的被本领域技术人员理解，从而对本发明的保护范围做出更加清楚的明确界定。

本发明以自动编码器(AE)作为数据重构方法，用强化学习的DDPG算法去更新自动编码器的参数，最后通过判别器获取强化学习自编码器和普通自编码比较获得更好的数据重构结果。

步骤S1.原始数据采集:

用Openvibe搭建模拟平台，设计模拟道路行走的P300信号刺激范式。本次模拟系统的数据由数字监控系统(德国Beain Products GmbH)记录，采样频率为250Hz,所有61个EEG通道均参考接地到FCz通道的两个耳垂，并且保持其阻抗在10KQ以下。

基于此系统，选取了N名同一年龄段的青年作为被试，采集脑电信号。任务是被试坐在椅子上，然后戴上脑电帽，再用按键根据地图上的提示在模拟道路上行走。在行走的过程中会出现金币，从而给被试一种事件相关电位的刺激。出现金币的地点和时间是随机，当被试在模拟系统中走到终点后，任务即结束。该实验包含多组实验采集(不少于6次)。

步骤S2.数据预处理:

利用EEGlab脚本将获取到的原始数据进行预处理。包括凹陷滤波、高通滤波与低通滤波等算法，将50赫兹的市电及高频噪声滤波，并去除伪迹。然后将数据切分成若干个时间T等长的序列，存放在文件中，用于后续模型训练。

步骤S3.根据AE网络和强化学习设计思想，设计训练相应的，取名为EGG-RL-AE网络模型，如图2所示。具体实现如下：

S3-1：初始化

EEG-RL-AE模型由自编码器AE，和强化学习自编码器RL-AE以及数据判别器D三个模块组成，分别将两个编码器的参数μ_AE、μ_RL-AE进行初始化操作；

自编码器AE和强化学习自编码器RL-AE网络各层的激活函数为ELU函数，其中x代表样本，其公式如下：

ELU(x)＝max(0，x)+min(0，α*(exp(x)-1)) #(1)

其中α是超参数，默认为1.0；

自编码器AE训练时均使用MESloss平均平方误差作为损失函数，其中x代表输入的数据样本，y代表训练模型产生的样品，i代表样本矩阵中的每个值，如公式(2)所示：

Loss(x_i，y_i)＝(x_i-y)² #(2)

AE与RL-AE最后一层的激活函数是Tanh，如公式(3)所示：

另外数据判别器D是用MESloss去比较AE和RL-AE产生的数据与输入数据的相似度。

S3-2：训练自编码器

读取文件夹里的脑电数据，导入自编码器中。然后开始如下工作：

编码：第一步利用卷积神经网络从输入图象中提取特征。具体采用三层一维卷积层，其中前两层每层一维卷积层采用长度为3的卷积核(kernel)滑动窗口，并设置步长(Stride)为1，填充(Padding)值为1，最后一层采用卷积核为4，步长为1，填充为1的设置，用于特征的提取编码。

解码：利用反卷积层完成从特征向量中还原出低级特征的工作，这里采用三层一维反卷积层，其中第一个卷积层的卷积核为4，步长为1，填充为1，中间个反卷积层后进行归一化并用ReLU函数激活，其中每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层反卷积后采用Tanh激活函数，最后得到生成EEG数据。

训练完如上操作后保存自编码器模型参数。

S3-3：训练强化学习自编码器

强化学习自编码器使用的算法是DDPG(Deep Deterministic Policy Gradient)算法，如图3所示。

DDPG算法主要有四个网络模型。

Actor在线策略网络：负责策略网络参数θ的迭代更新，负责根据当前状态S选择当前动作A，用于和环境交互生成下一次状态S′，奖励函数R

Actor目标策略网络：负责根据经验回放池中采样的下一状态S′选择最优下一动作A′，网络参数θ′定期从θ复制

Critic在线得分网络：负责价值网络参数w的迭代更新，折扣因子γ，负责计算当前Q值Q(S，A，w)。理想状态下的目标Q*值公式如公式(4)所示：

Q*＝R+γQ’(S’，A’，w’) #(4)

Critic目标得分网络：负责计算目标Q*值中的部分。网络参数w′定期从w复制。

此外，DDPG为了学习过程可以增加一些随机性，增加学习的覆盖，该模型对选择出来的动作A会增加一定的矩阵向量N，即最终和环境交互的动作A的表达式如公式(5)所示：

A＝πθ(S)+N#(5)

其中π表示当前选择的策略，θ为网络参数，S为当前状态。关于DDPG算法的损失函数，其使用的损失函数采用的是均方误差。

本发明中，对奖励函数R作了改进，x为输入的测试数据样本，其中α为折扣系数(0-1)，L_t为DDPG模型本次得到的数据与原数据的平方均误差；L_t-1为DDPG模型上次得到的数据与原数据的平方均误差；L_AE为测试数据直接在自编码器得到的数据与原数据的平方误差。公式如公式(6)所示：

R(x)＝-(α*(L_t-L_t-1)+(1-α)*(L_t-L_AE)) #(6)

读取文件夹里的脑电数据，导入强化学习自编码器中。然后开始如下工作：

编码：第一步利用卷积神经网络从输入图象中提取特征。具体采用三层一维卷积层，其中前两层每层一维卷积层采用长度为3的卷积核(kernel)滑动窗口，并设置步长(Stride)为1，填充(Padding)值为1，最后一层采用卷积核为4，步长为1，填充为1的设置，用于特征的提取编码。

解码：利用反卷积层完成从特征向量中还原出低级特征的工作，这里采用三层一维反卷积层，其中第一个卷积层的卷积核为4，步长为1，填充为1，中间个反卷积层后进行归一化并用ReLU函数激活，其中每层一维卷积层采用长度为3的卷积核滑动窗口，并设置步长为1，填充值为1，最后一层反卷积后采用Tanh激活函数，最后得到生成EEG数据。

强化学习DDPG算法参数训练：训练完编码和解码模型后，保存模型参数。将数据导入编码模型中，然后经过编码模型，得到矩阵向量，进入强化学习DDPG算法中，训练编码后的矩阵向量，加入新的矩阵向量值，然后将矩阵向量放入解码模型中，最后得到生成EEG数据。

S3-4：反馈结果

判别器D的工作内容：将上述S3-2和S3-3的模型生成的数据载入判别器中，通过平方均误差公式分别与输入的测试数据比较，平方均误差值更小的数据作为最终EEG结果输出。

经过上面的步骤，得到训练完的模型；用输入测试数据集到训练完的模型中，然后分别通过自编码器和强化学习自编码器得到生成的EEG数据，然后将这两个得到的数据输入判别器D中，得到最终的EEG数据结果。

步骤S4.评估结果：

用重建出来的数据与原数据显示在同一张图片上，按同一时刻点对点比较相似度，来评估该模型数据重建的效果。