具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1为本公开实施例提供的资源调度方法的流程图，该方法的的执行主体可以为推荐装置，该装置可以位于服务器端的应用，或者还可以为位于服务器端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，本发明实施例对此不进行特别限定。如图1中所示，该方法可以包括以下步骤：

在101中，获取目标服务的至少一种负载特征。

在102中，依据至少一种负载特征确定目标服务的当前压力状况。

在103中，依据当前压力状况确定期望资源实例数。

在104中，调度资源实例以使得目标服务的资源实例数达到期望资源实例数，其中被调度的资源实例预先配置有目标服务的模型文件。

可以看出，本公开通过获取目标服务的负载特征确定目标服务的当前压力状况，来调度资源实例的数量，实现了自动扩容处理，并且在资源实例上预先配置有目标服务的模型文件，从而实现资源实例切换至目标服务的速度。相比较人工扩容的方式，提高了应对在线服务流量上涨的速度，降低了对服务可用性的影响。下面结合实施例对上述各步骤进行详细描述。

首先对上述步骤101即“获取目标服务的至少一种负载特征”进行详细描述。

在本公开中目标服务指的需要进行压力监控并及时进行资源调度的在线服务。服务类型可以是诸如在线翻译类服务、在线导航类服务、在线语音识别类服务等等，本公开对于具体的服务类型不加以限制。

在负载特征的选择上，传统的负载特征大多采用诸如CPU(CentralProcessingUnit，中央处理器)利用率、磁盘IO(input/output，输入/输出)的包速率、网络IO的包速率等。但这些传统的负载特征并不能够真正反映出诸如在线翻译等服务的负载压力，不能够贴合在线服务的特性。因此，在本公开实施例中提供了一些优选的负载特征，可以采用诸如每秒字节量、等待队列长度和请求响应时间中的至少一种。

由于目标服务的执行者是各资源实例，因此本步骤实际上是获取目标服务的各当前资源实例的至少一种负载特征。

以在线翻译服务为例，假设在线翻译服务目前存在m个资源实例，那么分别获取每一个资源实例的每秒字节量、等待队列长度、请求响应时间和等待时间中的至少一种。

所谓每秒字节量可以是资源实例每秒处理的待翻译文本的字节量，也可以是每秒中传输给资源实例的字节量等。

由于服务系统中分发单元在将翻译请求分发给各资源实例时，先将翻译请求发送至对应资源实例的队列中，该队列中等待处理的请求所占队列的长度可以作为等待队列的长度，其能够有效反映对应资源实例的负载状况。

请求响应时间指的是服务系统接收到翻译请求到资源实例处理完毕该请求的时长。

其中，在获取当前资源实例的上述负载特征时，可以通过诸如Zookeeper或Mycat等中间件来获取当前资源实例的地址，并定时采集各资源实例的负载特征。

下面对上述步骤102即“依据所述至少一种负载特征确定所述目标服务的当前压力状况”进行详细描述。

由于目标服务的当前压力状况实际上是目标服务的当前资源实例的压力状况的综合体现，并且每一种负载特征均具有各自的压力状况体现。因此，针对每一种负载特征，对各当前资源实例的负载特征进行求均值处理，得到目标服务的该种负载特征的压力值。假设获取n种负载特征，目标服务的当前资源实例数为m，那么对于每一种负载特征i而言，分别从m个当前资源实例获取负载特征i的取值，并进行求平均处理，得到目标服务的负载特征i的压力值，表示为currentMetric_i。每一种负载特征均可以获取到目标服务的压力值。

除了上述针对每一个资源实例的负载特征确定目标服务的当前压力状况之外，还可以采用其他方式。例如，通过服务系统总的每秒字节量、请求响应时间等等来反映目标服务的当前压力状况。

下面对上述步骤103即“依据当前压力状况确定期望资源实例数”进行详细描述。

本步骤确定的期望资源实例数实际上就是确定达到多少资源实例数才能够满足当前压力状况。

作为一种优选的实施方式，可以针对每一种负载特征，依据目标服务能够承受的该种负载特征的最大压力值、目标服务的该种负载特征的压力值以及目标服务的当前资源实例数，确定该种负载特征对应的期望资源实例数。然后利用各负载特征对应的期望资源实例数，得到目标服务的期望资源实例数。

例如，负载特征i对应的期望资源实例数DesireInstance_i可以采用如下公式确定：

其中，CurrentInstance表示目标服务的当前资源实例数。CurrentMetric_i表示目标服务的负载特征i的压力值。DesiredMetric_i表示目标服务能够承受的负载特征i的最大压力值，该最大压力值预先设置，可以根据实际情况采用经验值或者实验值。Ceil()函数表示返回大于或者等于指定表达式的最小整数。

目标服务的期望资源实例数FinalDesireInstance可以采用如下公式确定：

FinalDesireInstance＝Max(DesireInstance₁,DesireInstance₂,…,DesireInstance_n)

其中，Max()函数表示取最大值。

目标服务的期望资源实例数除了上述取最大值的方式之外，还可以采用其他方式，例如在均值基础上加权一个系数，或者在最大值的基础上加权一个系数，等等。

下面结合实施例对上述步骤104即“调度资源实例以使得目标服务的资源实例数达到期望资源实例数，其中被调度的资源实例预先配置有目标服务的模型文件”进行详细描述。

本步骤中可以首先依据期望资源实例数和目标服务的当前资源实例，确定要增加的资源实例；然后向要增加的资源实例发送服务切换指令，以便接收到该服务切换指令的资源实例利用预先配置的目标服务的模型文件切换至目标服务。

在确定要增加的资源实例时，实际上就是将期望资源实例数和目标服务的当前资源实例数的差值(表示为ΔInstance)作为目标函数，驱动调度使得目标服务的实例数和期望实例数趋于相等。

在调度实例时，可以从空闲的资源实例中选择资源实例作为要增加的资源实例，例如从空闲的资源实例中选择ΔInstance个资源实例作为要增加的资源实例。也可以从其他服务的资源实例中选择资源实例进行服务切换以作为要增加的资源实例，例如从其他服务的资源实例中选择ΔInstance个资源实例作为要增加的资源实例。还可以结合以上两种方式，例如优先从空闲的资源实例中选择X个资源实例，若空闲的资源实例不足，则可以从其他服务优先级较低的服务的资源实例中选择(ΔInstance-X)个资源实例作为要增加的资源实例。还可以采用其他选择方式，在此不做一一穷举。

增加的资源实例可以以列表的形式提供给目标服务的请求分发单元，以便请求分发单元将接收到的请求采用预设的策略分发给目标服务的各资源实例。

另一方面，在确定要增加的资源实例后，资源调度装置会向要增加的资源实例发送服务切换指令。接收到该服务切换指令的资源实例切换至目标服务。

在传统的实现方式中，资源实例在切换服务时，需要停用源服务，下载目标服务镜像，启动目标服务等步骤完成，这需要较长的时间消耗，会造成服务质量下降。因此，本公开提供了一种优选的实施方式，预先在资源实例上部署一个以上的模型文件，其中至少包括上述目标服务的模型文件，并将所有的模型文件进行压缩后集中打包，均部署于资源实例上。这样资源实例在接收到服务切换指令后，就能够迅速利用预先部署的模型文件切换至目标服务，该过程实际上就是一个在线变换模型文件的过程，不需要启停和下载镜像的操作。

更进一步地，在资源实例上可以预先将目标服务中的一些预处理功能与模型文件的处理进行剥离并作为预处理服务模块，在实际服务过程中通过调用预处理服务模块实现预处理。以翻译服务为例，可以将诸如查词典、归一化、简写处理等与翻译模型没有强关联的处理实现为预处理服务模块，这样就仅需要将不同翻译方向的模型文件预先进行部署即可。

更进一步地，为了应对小幅度流量抖动带来的频繁调度现象，在执行上述步骤104之前，还可以进一步执行：依据期望资源实例数和目标服务的当前资源实例数，确定实例变化率。若实例变化率大于或等于预设的系统容忍度，则继续执行步骤104，即调度资源实例以使得目标服务的资源实例数达到期望资源实例数。否则，不执行步骤104。

例如，实例变化率T可以采用如下公式确定：

上述系统容忍度可以根据目标服务的具体类型进行设置，取决于目标服务对于服务延迟的容忍程度。

以上是对本公开所提供方法进行的详细描述，下面结合实施例对本公开所提供的装置进行详细描述。

图2为本公开实施例提供的资源调度装置的结构示意图，如图2中所示，该装置200可以包括：负载获取单元201、调度决策单元202和调度执行单元203。其中各组成部分的主要功能如下：

负载获取单元201，用于获取目标服务的至少一种负载特征。

其中，至少一种负载特征可以包括每秒字节量、等待队列长度和请求响应时间中的至少一种。

调度决策单元202，用于依据至少一种负载特征确定目标服务的当前压力状况；依据当前压力状况确定期望资源实例数。

调度执行单元203，用于调度资源实例以使得目标服务的资源实例数达到期望资源实例数，其中被调度的资源实例预先配置有目标服务的模型文件。

作为一种优选的实施方式，调度决策单元202可以获取目标服务的各当前实例的至少一种负载特征；针对每一种负载特征，对各当前实例的负载特征进行求均值处理，得到目标服务的该种负载特征的压力值。

作为一种优选的实施方式，调度决策单元202可以针对每一种负载特征，依据目标服务能够承受的该种负载特征的最大压力值、目标服务的该种负载特征的压力值以及目标服务的当前资源实例数，确定该种负载特征对应的期望资源实例数；利用各负载特征对应的期望资源实例数，得到目标服务的期望资源实例数。

更进一步地，为了应对小幅度流量抖动带来的频繁调度现象，调度决策单元202，还用于依据期望资源实例数和目标服务的当前资源实例数，确定实例变化率；若实例变化率大于或等于预设的系统容忍度，则执行调度资源实例以使得目标服务的资源实例数达到期望资源实例数。

作为一种优选的实施方式，调度执行单元203，具体用于依据期望资源实例数和目标服务的当前资源实例，确定要增加的资源实例；向要增加的资源实例发送服务切换指令，以便接收到服务切换指令的资源实例利用预先配置的目标服务的模型文件切换至目标服务。

对于各资源实例而言，预先在资源实例上部署一个以上的模型文件，其中至少包括上述目标服务的模型文件，并将所有的模型文件进行压缩后集中打包，均部署于资源实例上。这样资源实例在接收到服务切换指令后，就能够迅速利用预先部署的模型文件切换至目标服务。

在实际应用中，上述的资源调度装置可以以旁路的方式接入服务系统，保证资源调度装置和服务系统的低耦合性，使得资源调度装置支持热插拔。

如图3中所示，服务系统主要包括两部分：分发单元(Dispatcher)和服务单元(InferService)。其中，Dispatcher用以将接收到的服务请求分发至服务对应的资源实例。以翻译服务为例，将接收到的翻译请求分发到对应的翻译服务的资源实例。InferService为执行具体服务的单元，由各种服务实例组成。

资源调度装置中ZooKeeper对应于图2中的负载获取单元201，用以获取目标服务的至少一种负载特征，即将InferService的各资源实例注册至ZooKeeper后，由ZooKeeper监听资源实例的变化以及表征压力状况的负载特征。

资源调度装置中决策中心(TransformCtrl)对应于图2中的调度决策单元202和调度执行单元203，主要用以进行资源实例的调度决策以及向资源实例发送服务切换指令。

在本实施例中，资源调度装置中还包括通讯代理(InferAgent)，用以作为资源调度装置和服务系统的通讯代理。通讯代理负责资源调度装置和服务系统中与资源实例之间的协议适配、格式转换等处理。

ZooKeeper通过InferAgent监听InferService中目标服务的各资源实例并获取负载特征作为服务发现结果，提供给TransformCtrl。由TransformCtrl进行调度决策，确定出调度后目标服务的资源实例后，以资源实例列表的形式推送给Dispatcher。Dispatcher依据目标服务的资源实例列表进行请求的分发，即分发至InferService中目标服务的资源实例。

图3中资源调度装置可以以热插拔的形式与任意的服务系统进行旁路连接，实现灵活。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图4所示，是根据本公开实施例的资源调度方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如资源调度方法。例如，在一些实施例中，资源调度方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。

在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的资源调度方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行资源调度方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控30制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPs，Ⅵirtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。