具体实施方式

为使本发明的目的、技术方案和优点更加清楚，现对本发明做更进一步的说明。本发明的DRL-DDCO采用深度强化学习，综合任务时延与网络生存性，对网络信息环境与决策反馈的网络效益之间的映射关系进行学习，从而实现针对不同任务类型不同网络环境下个性化差异化的目标驱动计算卸载机制。

本发明的整体技术方案由以下两个部分组成，分别是面向目标驱动计算卸载策略的深度强化学习框架与基于混合专家系统(Mixture of Experts，MoE)的任务信息增强模块。

在面向目标驱动计算卸载深度强化学习框架中，将真实的无线通信场景建模成由以下四类节点构建成的网络，分别是计算任务发布节点(源节点)，计算任务结果目的地节点(目标节点)，计算服务器节点(计算节点)以及可提供中继服务的普通节点。

在目标驱动的计算卸载模式中，计算任务的传输与卸载协同进行，即“边转发、边卸载”；并且，其转发节点及卸载策略，是在其所经路径节点上基于深度强化学习逐跳决定的。也就是说，本发明所设计的“目标驱动的计算卸载模式”，实施的是“边转发、边卸载、边决策”的模式。

具体而言，在目标驱动的计算卸载过程中，本发明所述机制先将卸载过程建模成马尔科夫决策过程(Markov Decision Process，MDP)，在此基础上，从源节点开始，下一跳的选择与计算卸载比例都由当前节点通过深度强化学习到的神经网络计算得到，直至完成计算卸载任务。所述深度强化学习网络的输入为即为马尔科夫状态空间，简称为观测状态，输出为对应观测状态下的最佳下一跳与卸载比例。

在一次决策过程回合中，如图1所示，所有的状态转移，计算卸载策略以及对应收到的奖励都会被存储起来，用以训练深度强化学习中的拟合动作潜在价值与状态映射关系的神经网络。收敛完成的神经网络拥有记忆和泛化的能力。在决策过程中，神经网络可以对后续潜在的状态转移过程进行预测从而根据当前状态搜索得出最佳的卸载策略。如此一来，如图2所示，DRL-DDCO模型能够在计算卸载的过程中逐步计算最佳的计算卸载策略，并根据网络环境、任务信息对卸载策略加以修正。

在基于MoE混合专家系统的任务信息增强模块中，主要加强不同类型计算卸载任务中时延敏感特征的表达，MoE混合专家系统可以通过多个Expert子网络的组合反映出不同类型任务与其对应决策之间差异的映射关系，从而输出更具有表现力的任务信息特征，而决策系统则能从这差异的特征信息与决策反馈的奖励数据中学习到统一的动作策略，从而形成对所有任务类型的智能卸载决策系统。

本发明的网络结构如图3所示，主要内容包括：

1.面向目标驱动计算卸载策略的深度强化学习框架

在无线通信网络中，目标驱动模式下的计算卸载决策问题往往面临背景流量干扰，分布式网络难以中心化决策等问题。针对以上问题，本发明引入了深度强化学习算法(DDQN，Double Deep Q-Learning)，让智能体自适应地学习计算卸载决策与目标收益之间的关系，从而合理制定计算卸载策略。

(1)强化学习模块

DRL-DDCO的整体模型基本符合强化学习的模式，在讲解强化学习模式之前呢，首先需要说明的是目标驱动的计算卸载决策过程，是比较容易证明满足马尔科夫性质，本发明就不再就这一问题给出证明。

a)马尔科夫决策过程(MDP，Markov Decision Process)

对于强化学习而言，首先需要对目标驱动的计算卸载场景建模成马尔科夫决策过程，这包括确定状态空间(S)，动作空间(A)，转移概率(P)以及对应奖励(R)，即经典四元组<S,A,P,R>。其中，转移概率P在寻路类问题中默认为1，因为这是一个可靠确定的网络，传输失败或者出错并不在本发明的讨论范围以内。其他主要构成成分如下：

S＝(I_nearby,T,Topo)

A＝(A_node,A_prop)

R＝f(D,△Var)

其中，D表示计算任务卸载完成所需时延，△Var表示当前节点周围邻接节点剩余总能量的方差变化。状态空间中主要由三个部分特征构成：(1)I_nearby表示局部收集的网络状态，其中包括了周围节点的编号，各自的计算资源以及能量储备的相关信息；(2)T表示计算节点收到的任务信息，包括了计算任务的数据量，计算量以及其他任务特征；(3)Topo表示网络拓扑的信息，包括各节点到任务目标点的Dijkstra距离，这个信息是可以通过网络常用的通讯算法得到。以上三个特征构成完整的状态空间并且唯一确认最佳的计算卸载策略。因此我们也可以证明目标驱动的计算卸载过程，满足马尔科夫性质，即整个过程被建模成MDP的有效性。

动作空间中有两个子动作组成：(1)选取下一跳节点A_node，这个就是计算任务选择的下一个短期目的地，既可能是要去这个短期目的地进行计算卸载工作，也可能只作为中继节点转发计算任务；(2)选择在当前节点的卸载比例A_prop，因为是比例，所以A_prop∈[0,1]，如果只是中继作用则卸载比例等于0。其次这个卸载比例是以初始需求的计算量为基准，这样的设定有助于智能体区分每个动作之间的区别。

b)奖励设置

奖励公式是关于任务整体时延与能量方差变化的函数。

对任务T_j(j是自然数)来讲，其时延D_j表示任务发布、计算完成到传递结果到目标节点所需的总时间，其中不仅包括了计算卸载造成的时延，还包括数据传输时延与信号传播时延；能量方差变化，由卸载前能量方差减去卸载后的能量方差，如果能量方差减小，区域能量分配更加均匀，那么△Var＜0，智能体就会接收到一部分正向的反馈，反之亦然。整体奖励设置如下：

R(D_j,△var)＝-α*D_j*s_j-β*△var

其中，s_j表示了计算任务T_j的时延敏感程度，越高代表任务越紧急，其具体取值需结合实际应用场景，在训练之前根据任务紧急程度设定。如将任务紧急程度设为0-6共7个等级，s_j的取值为任务紧急程度对应的0到6之间某一个数值。而α与β分别表示了时延与方差变化的奖励系数。通常设置α+β＝1，α和β的值可以结合经验值设置，并在训练中根据训练效果进行参数值的调整。

假定任务T_j从卸载源节点到最终目标节点的整个过程需要经过κ跳传输依次记为h₁,h₂,...h_κ，并且计算任务T_j在第h_k(1≤k≤κ)跳所引入的时延记为D_j(h_k)。则任务T_j的整体时延D_j公式如下：

其中，表示自然数，D_j(h_k)指计算卸载路径上第h_k步节点上产生的所有时延，其中包括了四个部分：传输时延、传播时延、卸载时延以及等待时延。其中传输时延公式如下：

其中，L_j(h_k)代表计算任务T_j在h_k跳时的需要传输的数据量，N(T_j,h_k)代表计算任务T_j对应第h_k跳的节点，而分母代表的是该节点上的传输速率。

在介绍计算任务数据量之前，下面给出收益率的定义，

收益率指计算任务结果数据量对其任务初始数据量的比值，代表意义即完成计算后，任务数据量压缩比例。以此为基础，下面定义在第h_k跳的计算任务数据量公式：

R_j(h_k)指在计算卸载动作过后，计算任务尚未完成的计算量，为任务初始的计算量。当R_j(h_k)＝0时，即任务计算量已经完成，那么此时在第h_k步所需要传输的数据量其中λ表示该次任务卸载后数据量的剩余比率，即为该次任务卸载后的剩余数据量。

对于计算卸载时延而言，公式如下：

其中，指在第h_k步节点上卸载的计算量，这个其实就是我们需要决策的策略之一。代表计算任务T_j在第h_k跳节点的计算速率。

传播时延公式如下：

其中，W(h_k,h_k+1)代表h_k跳节点与h_k+1跳节点之间的距离，而v则代表电子波传播速率，通常在本发明中假定为光速的2/3倍。

最后等待时延经常会出现在多任务的计算卸载场景，好的计算卸载分配算法需要根据节点忙碌情况来协调计算任务以此降低本发明采取了一些特殊的技巧来记录等待时延本发明记录下特殊动作的时刻TP。

TP_j(h_k)代表任务T_j抵达第h_k跳节点的时间点，而代表该节点上个任务计算量卸载完成的时间点。当τ(N(T_j,h_k))≤0时候，第h_k跳节点在接收到任务T_j的时候已经完成了上个任务的计算卸载，此时的计算任务T_j完成之后，更新时间点：

TP_j(h_k+1)＝TP_j(h_k)+D_j(h_k)

能耗方差变化公式如下：

△Var(h_k)＝Var_after-Var_before

其中，Λ指第N(T_j,h_k)邻接节点的集合，H_l则指代节点l上剩余能量，而和分别指在卸载动作前后节点集合Λ中所有节点剩余能量的平均值，H(A_node)代表所选择节点中的剩余能量。而具体计算任务T_j总能耗公式如下：

其中，代表在第h_k跳节点上的计算卸载能耗，为了公式方便阅读，接下来用指代第h_k跳节点上的计算速率，具体公式如下：

其中，代表第h_k跳节点在CPU计算速率为的情况下，单位转能源消耗的速率，而计算卸载消耗的能源等于该速率乘上卸载计算量C_j(h_k)。而里面的系数υ通常设定为10^-11。而传输能耗设定如下：

在节点N(T_j,h_k)上消耗的传输能源等于单位时间能量消耗速率乘上传输时延其中就的计算公式而言，其中N₀代表复高斯白噪声方差，而h代表信道收益，W代表信道带宽。

(2)DNN模块

深度强化学习里面的神经网络主要发挥的作用，在于将较大的状态空间与动作联系起来，预测在此状态下各个动作的价值。利用神经网络充分挖掘目标驱动计算卸载场景下状态特征与动作特征之间的深层联系，不仅发挥了其网络记忆的功能，而且其泛化能力还可以处理网络中新兴的计算任务，这一点很好地解决了传统算法模型多任务复用的问题。决策框架中的神经网络结构如图3上半部分所示：

a)输入处理

神经网络输入是MDP中状态空间的特征，但是输入之前还需要对数据进行一些预处理，因为数据之间量纲以及分布的不同，会影响到训练过程收敛的方向。同理，在执行阶段，也需要先将数据进行同等处理后放入网络得到结果。其中针对一部分数值类的特征比如可用计算资源，任务数据量跟计算量，都通过最大最小值归一化到0-1之间的数值，归一化公式如下所示：

对于部分数值大小直观上并没有太大意义的特征，比如盈余的能量，这些值一般得结合周围其他数据才有直观意义。因此本发明对类似特征做了离散化或者二元化的处理，比如标记高于平均能量水平的节点为1，而低于平均水平的节点为0。

b)输出处理

对于神经网络的输出而言，其输出的内容就是对应状态下，每个动作的Q值由于其二维的动作空间，输出同样也是一个二维空间。针对复杂的目标驱动计算卸载场景，较优的动作选择或许并不能很完美地服从正态分布，因此在采样的过程中极容易获得不合理的动作，对此本发明采用基于双重深度Q网络(Double Deep Q Network，DDQN)的方法，将本身连续的动作计算卸载比例A_prop离散成从0.0到1.0的11个动作，结合节点规模N，产生一个11×N的二维离散动作空间。动作空间离散化的好处在于不仅可以增加模型的抗干扰能力，另外还为主动的动作筛选提供便利。

对于决策模型的训练过程，本发明给出两种方式：在线训练与离线训练。在线训练的优势在于能实时根据场景特征调整计算卸载模型，但是这会占用较大的传输资源；离线训练则无需传输大量的训练数据，但对于场景的反应也会慢一点。

在线训练本发明采用CTDE(Centralized Training Distributed Execution，中心化训练分布式执行)训练模块，具体的：

分布式的训练方式(Distributed Training，DT)在复杂的计算卸载场景中，一方面对于各个计算服务器而言会产生额外的计算负担，而且因为计算资源与接收到的任务差异，计算服务器间的模型收敛进度不统一，收敛速度更快的节点上的网络参数会因为其他滞后节点提供的数据而产生震荡。换言之，分布式训练模式中收敛进度难以统一的问题会导致整体网络收敛情况受阻。针对这一个情况，本发明提出采用中心化训练分布式执行(CTDE)的工作模式，即工作过程中，先由各个计算节点将收集到的<S,A,R,S′>数据集汇总到某一中心服务器，然后该中心服务器整合全局的数据后训练出一个适用于所有计算节点的神经网络。其中S′代表马尔科夫转移过程中的下一状态。最后网络参数再由中心训练服务器传递给各计算节点。

当然，CTDE也存在自身的短板，即需要传播大量的数据包括各计算节点上转移记录以及迭代的网络参数。在部分链路紧张的工业物联网场景下，可能造成额外传输链路负担的问题。针对此问题，本发明还提出了其替代方案，即离线训练。其神经网络的训练过程主要发生在外挂式训练服务器上，该服务器会基于收集到的服务器信息与网络链路信息，在本地模拟并记录目标驱动计算卸载过程，并基于收集到的记录离线地学习最佳目标计算卸载策略，神经网络收敛完成后再将其参数广播到各个真实的节点上。

这里收集到的服务器信息具体为：该服务节点提供服务能力相关的信息，通常包含节点的计算能力、传输能力、可用能量、拓扑关系等。

(4)动作空间搜索优化模块

动作空间搜索优化(Action Search Optimization,ASO)模块受蚁群算法禁止选项的启发，指在智能体搜索冗余的动作空间之前，先通过一定的规则筛选掉一些直观上无效的动作选项，然后再在这个筛选过后的动作集合中选取相应的动作。无效动作筛选规则如下：

①筛选掉非邻接节点的相关动作，这里面包括了原本在拓扑关系上就非邻接的节点以及一些因为能源耗尽而失效的节点。这些将计算任务传向该节点的动作显然是不合理的，因此筛选掉此类动作；

②筛选掉计算卸载路径上记录过的节点相关动作，即已经路过的节点相关动作。这是因为即使有在该节点上卸载的可能性，那么在第一次经过该节点的时候就应该完成相应的计算量，所以不应该两次重复经过同一节点，这也防止了一种来回跳跃的情况；

③筛选掉超出计算任务剩余计算量的相关任务。执行的计算量卸载动作要跟实际的计算量相吻合，因此根据剩余计算量来规范卸载动作也比较合理；

基于以上三点准则，在选取动作以及训练更新时选取下一状态最佳动作的时候，都可以通过人为筛选去掉一些没有价值的动作，这样的做法可以减少记忆库中无效的记录，增加记忆库质量。而记忆库的数据相当于数据集，数据集的质量直接决定了最后神经网络的收敛程度。实验结果也表明，如果不对选取的动作加以限制，在较大的动作空间下神经网络很难收敛。

2.基于MoE混合专家系统的任务信息增强模块

混合专家系统(MoE)是一种神经网络，也属于一种混合网络的模型。适用于解决数据集中数据映射关系不同的问题。MoE模块对应的神经网络如图3下半部分所示，MoE模型主要由两个部分组成，一个部分是较小的子网络(Experts)，记做专家网络，专家网络可以通过部分数据集进行专业化训练(specialize)，从而准确描述该数据中的映射关系；另一个部分是门控网络(Manager)，可以是一个DNN神经网络组成，最后经过SoftMax层输出一个分布概率。

门控网络的输入为任务类型特征，任务类型特征具体指任务中代表任务优先级或者时延敏感度的非数值特征，通常会用One-Hot编码进行表示；子网络的输入为普通输入特征，普通输入特征即任务重除去任务类型特征外的其他特征，通常为一些数值特征；普通输入特征与任务类型特征共同构成了神经网络的输入特征，也就是转移的状态特征。

子网络中每个专家网络都会输出一个相同维度的映射结果，门控网络每个输出对应的一个映射结果的权重，不同于一般的神经网络的是本发明根据数据分离训练多个模型，各个模型被称为专家，而门控网络用于选择使用哪个专家，MoE的实际输出为各个专家网络的输出与门控网络的权重组合。

各个专家模型又可拟合不同的函数(各种线性或非线性函数)，因此MoE模型很好地解决负责数据来源不同而造成的映射关系不同问题。在本发明的问题中，MoE就能很好地解决不同类型任务决策过程中动作价值与输入状态之间不同映射关系的问题。

本领域技术人员应知，本发明中采用MoE模型中子网络的这多个专家网络来拟合单个类型任务的决策关系。

最后由于任务类型信息增强的过程中存在弱化普通类型特征表达的情况，因此在进行卸载决策的过程中还将普通输入特征拼接到MoE的输出结果后面，以防止信息丢失的情况。这一拼接后的结果作为双重深度Q网络的输入。

对于MoE混合系统模块而言，其损失函数如下：

其中，p_i分别对应gate控制下的第i个expert输出所占的比例，通过SoftMax层输出结果，其公式如下：

那么为何该系统能让每个专家学习到不同的参数呢，答案在于这个模型的更新梯度。对于expert的梯度而言：

根据其梯度公式可以看出，部分数据对于p_i占比比较大的expert而言，更新的梯度也会更大，这就是所谓的“专业化”(specialize)的过程；而对于gate而言，需要调控每个expert所对应的比例p_i梯度公式如下：

该梯度公式表示的是，对于某些数据而言，如果某个expert输出的损失高于平均损失，那么对应的p_i减小，即说明该expert网络对这部分数据不能很好地预测；相反则说明这个expert擅长预测此部分数据的映射关系，随之提升其对应的输出占比p_i。从公式的角度上看，MoE系统就是根据梯度更新的方向的差异化来实现各个expert的专一化以及针对不同映射关系的不同expert组合。

在计算卸载场景中，不同类型的计算任务对时延需求也是不一致的。部分任务并不要求时延，不过出于自身资源限制依然需要卸载计算量；而也有部分紧急任务时延要求非常高，需要一直维持较低的任务时延，类似于森林火灾的报警任务。同一个网络虽然可以加上任务级别的One-Hot特征来加以区分，但是实际效果甚微。因为网络的绝大部分对于不同的任务状态输入，仍然共享一套参数，少量的特征输入对网络结果影响并不大。因此本发明提出采用MoE系统，可以对不同类似任务组合不同的专家网络输出。由于每个网络所关注的任务特征与网络特征不一致，比如紧急计算任务对于计算资源的需求更大，而时延要求宽松的计算任务则对能耗分布关注更多，如此一来，基于MoE的任务信息增强模块使得决策模型能为不同类型任务制定个性化的计算卸载策略。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。