一种面向无人机集群联邦学习的学习与资源联合优化方法
技术领域
本发明属于无人机边缘智能
技术领域
，具体地涉及一种面向无人机集群联邦学习的学习与资源联合优化方法。背景技术
随着无人机技术的发展，无人机在军用和民用领域被广泛的应用，比如，灾后搜救、目标跟踪和山火检测等。为了能够自主执行这些应用，由多架无人机组成的无人机集群需要具备通过智能分析做出实时决策的能力。机器学习作为近年来飞速发展的智能技术，能够赋能无人机集群拥有智能分析的能力，从而执行更多新兴应用。
传统集中式机器学习方案需要将原始数据传输到一个中央云服务器进行处理，由于以下三点原因，这种集中式方案不能直接应用在无人机集群中：（1）在有限的带宽资源中传输原始数据会导致过高的能量消耗；（2）对于目标跟踪此类时延有效性应用，传输大量数据造成的高时延是不可接受的；（3）直接传输原始数据可能会造成敏感信息的泄露，比如无人机的身份和位置信息。
相较于传统集中式机器学习，联邦学习作为一种不需要传输原始数据的分布式机器学习更加适合无人机集群。通过联邦学习，跟随无人机可以利用收集到数据进行本地训练并将本地模型参数上传至领头无人机进行模型聚合，因此，不需要上传带有敏感信息的原始数据。然而，由于无人机有限的电池容量以及无线信道的不稳定性等，在无人机集群中部署联邦学习也存在一些挑战，需要配置合适的训练参数和合理的资源分配来应对这些挑战。
无人机的有限的计算资源和动态变化的信道状态会导致过高的训练能量和训练时延，从而降低联邦学习模型训练的有效性和时效性，为了能够在机载资源和网络资源均有限的无人机集群网络中进行高效的联邦学习，通过联合优化联邦学习的学习和资源分配，在保证全局训练精度和最大训练时延的约束性，最小化无人机集群的训练总能耗是十分重要的。
发明内容
本发明的目的在于针对现有技术的缺陷或问题，提供了一种面向无人机集群联邦学习的学习与资源联合优化方法。
为实现上述目的，本发明采用的技术方案如下：一种面向无人机集群联邦学习的学习与资源联合优化方法，所述无人机集群由K架无人机和一架领头无人机组成，具体包括如下步骤：
（1）收集K架跟随无人机在巡查过程中拍摄的不同角度的照片，将其作为本地数据集；
（2）根据所述跟随无人机的CPU频率、本地训练轮次、本地数据集的大小得到该跟随无人机在一轮全局训练中所需的计算能耗和计算时延；
（3）根据跟随无人机与领头无人机之间的空间路径损耗模型计算出该跟随无人机一轮全局训练的通信能耗和通信时延；
（4）根据计算时延、通信时延以及全局收敛精度最小化无人机集群总训练能耗，所述总训练能耗包括：K架跟随无人机的总计算能耗和K架跟随无人机的总通信能耗；具体包括如下子步骤：
（4.1）根据本地训练轮次的约束、本地收敛精度的约束、每轮全局训练的时间小于最大训练时延的约束通过逐次凸逼近的方法优化本地收敛精度；
（4.2）根据本地训练轮次的约束、每轮全局训练的时间小于最大训练时延的约束优化本地训练轮次；
（4.3）根据总带宽的约束、本地训练轮次的约束、本地收敛精度、无人机CPU计算频率以及子带宽的取值区间的约束，利用CVX求解工具优化计算频率分配和带宽分配；
（4.4）重复迭代步骤（4.1）-（4.3），直至无人机集群总训练能耗的相对误差小于0.01，得到最小化的无人机集群总训练能耗，获得最优的本地收敛精度、本地训练轮次、跟随无人机的CPU频率以及跟随无人机的子带宽；
（5）将最优的本地收敛精度、本地训练轮次、跟随无人机的CPU频率以及跟随无人机的子带宽输入到对应的跟随无人机上，由跟随无人机跟随领头无人机进行巡检任务。
进一步地，所述计算能耗具体为：
；
所述计算时延具体为：
；
其中，N(t)表示第t轮全局训练中进行的本地训练轮次，表示有效电容系数， 表示第k架跟随无人机的本地数据集中每个数据样本所需要的CPU周期数、表示第k架跟 随无人机k的本地数据集中数据样本的数量，表示第k架跟随无人机的CPU频率。
进一步地，所述通信能耗具体为：
；
所述通信时延具体为：
；
其中，表示第k架跟随无人机的传输功率，表示跟随无人机需要上传到领头 无人机上的数据量大小，表示第k架跟随无人机分配到的子带宽，表示每米的信道增 益，表示噪声功率，表示第k架跟随无人机与领头无人机之间的距离。
进一步地，所述本地训练轮次的约束具体为：
其中，L表示利普希茨常数，γ表示强凸性系数，λ表示本地训练的学习率，t表示全 局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示第t轮全局训练的 本地收敛精度，表示全局训练的轮数。
进一步地，所述本地收敛精度的约束具体为：
其中，t表示全局训练轮次的序号，表示第t轮全局训练的本地收敛精度，L表 示利普希茨常数，γ表示强凸性系数，ξ为相关系数，且满足，表示全局收敛精度，表示全局训练的轮数。
进一步地，所述每轮全局训练的时间小于最大训练时延的约束具体为：
其中，t表示全局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示计算时延，表示通信时延，表示最大训练时延，表示全局训练的轮数。
进一步地，所述总带宽的约束具体为：
其中，t表示全局训练轮次的序号，表示在第t轮全局训练中第k架跟随无人机 分配到的子带宽，B为总带宽。
进一步地，所述本地收敛精度、无人机CPU计算频率以及子带宽的取值区间的约束具体为：
其中，t表示全局训练轮次的序号，表示在第t轮全局训练的本地训练精度，表示在第t轮全局训练中第k架跟随无人机的计算频率，表示第k架跟随无人机的 最大计算频率，表示在第t轮全局训练中第k架跟随无人机k分配到的子带宽，表示全 局训练的轮数。
进一步地，步骤（4.1）中本地收敛精度的更新过程为：
其中，表示第i轮迭代的本地收敛精度，表示第i+1轮迭代的本地收敛精度，表示通过求解得到的本地收敛精度，表示更新的步长。
与现有技术相比，本发明具有如下有益效果：本发明面向无人机集群联邦学习的学习与资源联合优化的方法，在考虑全局收敛精度和时延约束的条件下以最小化无人机集群的总训练能耗为目标，根据交替优化的思想将无人机集群的总训练能耗的最小化问题分解成三个子问题，通过逐次凸逼近的联合优化学习与资源分配联合优化方法同时优化本地收敛精度、本地训练轮次、计算资源分配以及带宽分配，从而根据计算时延、通信时延以及全局收敛精度最小化无人机集群总训练能。通过本发明的方法来实现跟随无人机跟随领头无人机进行巡检任务，实现了智能化的特点，大大提高工作效率，降低人力成本。
附图说明
图1为本发明提供的面向无人机集群的联邦学习场景图；
图2为本发明在不同全局收敛精度下无人机集群总训练能耗的仿真结果图；
图3为本发明在不同算法下无人机集群总训练能耗与总带宽的关系实验仿真结果图；
图4为本发明在不同算法下无人机集群总训练能耗与最大全局时延的关系实验仿真结果图；
图5为本发明在不同算法下无人机集群总训练能耗与数据量的关系实验仿真结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种面向无人机集群联邦学习的学习与资源联合优化的方法，该方法中无人机集群由K架跟随无人机和一架领头无人机组成，K架跟随无人机与一架领头无人机按照预定航线进行巡查任务，在巡查过程中通过对无人机集群进行联邦学习，从而对本地收敛精度、本地训练轮次、计算资源分配和带宽分配进行联合优化，根据计算时延、通信时延以及全局收敛精度最小化无人机集群总训练能耗。在将联邦学习的过程中由于无人机电池容量有限，存在无人机集群总训练能耗最小化的优化问题，具体有如下挑战：1）在无人机集群联邦学习中，需要配置合理的学习参数，如本地收敛精度和本地训练轮次，过少的本地训练轮次可能会导致无法达到对应的全局收敛精度；2）为了降低训练能耗，跟随无人机采用较低的CPU计算频率进行训练的时延可能会超过最大全局时延约束，从而无法保证训练的时效性；3）由于每架跟随无人机与领头无人机之间的距离不同，需要分配合理的子带宽来保证每架跟随无人机的本地模型参数的顺利上传。
图1是本发明提供的面向无人机集群的联邦学习场景图，无人机集群由K架跟随无人机与一架领头无人机组成，按照预定航线飞行的同时进行联邦学习训练任务。首先，K架跟随无人机利用本地数据集进行本地训练；然后，K架跟随无人机将训练得到本地模型参数上传到作为参数服务器的领头无人机；最后，领头无人机将接收到多个本地模型进行加权求和生成新的全局模型参数，并下发给各个跟随无人机开始新一轮的全局训练。本发明中面向无人机集群联邦学习的学习与资源联合优化方法，具体包括如下步骤：
（1）收集K架跟随无人机在巡查过程中拍摄的不同角度的照片，将其作为本地数据集；
（2）根据所述跟随无人机的CPU频率、本地训练轮次、本地数据集的大小得到该跟随无人机在一轮全局训练中所需的计算能耗和计算时延；
本发明中计算能耗具体为：
；
本发明中计算时延具体为：
；
其中，N(t)表示第t轮全局训练中进行的本地训练轮次，表示有效电容系数， 表示第k架跟随无人机的本地数据集中每个数据样本所需要的CPU周期数、表示第k架跟 随无人机的本地数据集中数据样本的数量，表示第k架跟随无人机的CPU频率。
（3）根据跟随无人机与领头无人机之间的空间路径损耗模型计算出该跟随无人机一轮全局训练的通信能耗和通信时延；
本发明中通信能耗具体为：
；
通过通信时延和传输功率，求得一轮全局训练的通信时延表示为：
；
其中，表示第k架跟随无人机的传输功率，表示跟随无人机需要上传到领头 无人机上的数据量大小，表示第k架跟随无人机分配到的子带宽，表示每米的信道增 益，表示噪声功率，表示第k架跟随无人机与领头无人机之间的距离。
（4）根据计算时延、通信时延以及全局收敛精度最小化无人机集群总训练能耗，所述总训练能耗包括：K架跟随无人机的总计算能耗和K架跟随无人机的总通信能耗；本发明通过将原来的混合整型非凸问题分解成三个子问题的优化，包括本地收敛精度的优化、本地训练轮次的优化、计算频率分配和带宽分配的优化，降低对最小化无人机集群总训练能耗的求解难度，具体包括如下子步骤：
（4.1）在固定本地训练轮次、计算频率分配和带宽分配的情况下，将原问题转换成非凸问题并利用逐次凸逼近求解本地收敛精度的局部最优解，大大降低原问题的求解难度，因此根据本地训练轮次的约束、本地收敛精度的约束、每轮全局训练的时间小于最大训练时延的约束通过逐次凸逼近的方法优化本地收敛精度；本发明中本地收敛精度的更新过程具体为：
其中，表示第i轮迭代的本地收敛精度，表示第i+1轮迭代的本地收敛精度，表示通过求解得到的本地收敛精度，表示更新的步长，可以通过调节的大小来 控制迭代更新的速度。
该过程中涉及的本地训练轮次的约束具体为：
其中，L表示利普希茨常数，γ表示强凸性系数，λ表示本地训练的学习率，t表示全 局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示第t轮全局训练的 本地收敛精度，表示全局训练的轮数。
本地收敛精度的约束具体为：
其中，t表示全局训练轮次的序号，表示第t轮全局训练的本地收敛精度，L表 示利普希茨常数，γ表示强凸性系数，ξ为相关系数，且满足，表示全局收敛精度，表示全局训练的轮数。
每轮全局训练的时间小于最大训练时延的约束具体为：
其中，t表示全局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示计算时延，表示通信时延，表示最大训练时延，表示全局训练的轮数。
（4.2）在固定本地收敛精度、计算频率分配和带宽分配的情况下，将原问题转换成一个整形变量优化问题来求解本地训练轮次的局部最优解，大大降低原问题的求解难度，因此根据本地训练轮次的约束、每轮全局训练的时间小于最大训练时延的约束优化本地训练轮次。
该过程中涉及的本地训练轮次的约束具体为：
其中，L表示利普希茨常数，γ表示强凸性系数，λ表示本地训练的学习率，t表示全 局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示第t轮全局训练的 本地收敛精度，表示全局训练的轮数。
每轮全局训练的时间小于最大训练时延的约束具体为：
其中，t表示全局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示计算时延，表示通信时延，表示最大训练时延，表示全局训练的轮数。
（4.3）在固定本地收敛精度和本地训练轮次的情况下，将原问题转换成一个凸优化问题来求解计算频率分配和带宽分配的局部最优解，大大降低原问题的求解难度，因此根据总带宽的约束、本地训练轮次的约束、本地收敛精度、无人机CPU计算频率以及子带宽的取值区间的约束，利用CVX求解工具优化计算频率分配和带宽分配；
该过程中所涉及的总带宽的约束具体为：
其中，t表示全局训练轮次的序号，表示在第t轮全局训练中第k架跟随无人机 分配到的子带宽，B为总带宽。
本地训练轮次的约束具体为：
其中，L表示利普希茨常数，γ表示强凸性系数，λ表示本地训练的学习率，t表示全 局训练轮次的序号，N(t)表示第t轮全局训练的本地训练轮次，表示第t轮全局训练的 本地收敛精度，表示全局训练的轮数。
本地收敛精度、无人机CPU计算频率以及子带宽的取值区间的约束具体为：
其中，t表示全局训练轮次的序号，表示在第t轮全局训练的本地训练精度，表示在第t轮全局训练中第k架跟随无人机的计算频率，表示第k架跟随无人机的 最大计算频率，表示在第t轮全局训练中第k架跟随无人机分配到的子带宽，表示全 局训练的轮数。
（4.4）重复迭代步骤（4.1）-（4.3），直至无人机集群总训练能耗的相对误差小于0.01，得到最小化的无人机集群总训练能耗，获得最优的本地收敛精度、本地训练轮次、跟随无人机的CPU频率以及跟随无人机的子带宽。通过对上述三个子问题进行迭代求解，在保证准确度的情况下大大降低优化问题的求解难度。
（5）将最优的本地收敛精度、本地训练轮次、跟随无人机的CPU频率以及跟随无人机的子带宽输入到对应的跟随无人机上，使跟随无人机能够消耗最少的能量完成巡检任务学习模型的训练，从而有更多的电池余量跟随领头无人机进行巡检任务。
图2给出了5架跟随无人机与1架领头无人机组成的集群进行联邦学习，在不同全局收敛精度下无人机集群总训练能耗的仿真结果图，本发明中最小化无人机集群总训练能耗方法（JTRO）具有良好的收敛性，在全局收敛精度为0.1时，采用本发明通过最小化无人机集群总训练能耗后进行巡检任务的方法相较于未优化直接进行巡查任务的方法可以减少45.07%的无人机集群总训练能耗。另一方面，从不同全局收敛精度所对应的无人机集群总训练能耗中可以看出，随着全局收敛精度值的减小，所需的无人机集群总训练能耗随之增加。
图3为不同算法下无人机集群总训练能耗与总带宽的关系图，总带宽由0.8、0.9、1.0、1.1和1.2兆赫兹依次递增，分别记录采用5种不同算法方案的无人机集群总训练能耗，除本发明最小化无人机集群总训练能耗方法外，其他四种对比算法分别为固定CPU计算频率联合优化训练参数和带宽分配（JOTB-FC）、随机CPU计算频率联合优化训练参数和带宽分配（JOTB-RC）、固定训练参数联合优化计算频率和带宽分配（JOCB-FT）以及随机训练参数联合优化计算频率和带宽分配（JOCB-RT）。从图3中可以看出，随着总带宽的增加，无人机集群总训练能耗不断降低，同时本发明最小化无人机集群总训练能耗方法相较于其他4种对比算法可以分别减少31.48%、54.99%、36.63%和26.40%的无人机集群总训练能耗。
图4为不同算法下无人机集群总训练能耗与最大全局时延的关系图，最大全局时延由1、1.2、1.4、1.6和1.8秒依次递增，分别记录采用5种不同算法方案的无人机集群总训练能耗，从图4中可以看出采用JTRO、JOCB-FT和JOCB-RT这几种算法的无人机集群总训练能耗会随着最大全局时延的增加而不断降低。而JOTB-FC和JOTB-RC保持不变，因为最大全局时延主要用来约束无人机的CPU计算频率，在这些最大全局时延区间中，对应的无人机CPU计算频率已经达到最优。
图5为不同算法下无人机集群总训练能耗与数据量的关系图，数据量由800、850、900、950和1000个样本依次递增，考虑采用5种不同算法方案的，分别记录不同数据量样本下数为800、850、900、950和1000时的无人机集群总训练能耗。从图5中可以看出，无人机集群总训练能耗随着的数据量增加而增大，样本数从800增加到1000时， 采用JTRO、JOTB-FC、JOTB-RC、JOCB-FT和JOCB-RT算法的无人机集群总训练能耗分别增加8.72%、9.35%、14.52%、35.72%和27.67%。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求，而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
