具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

虽然目前已经存在有一些高精地图的生产，但其主要基于点云技术。即由激光雷达设备采集大量稠密的点云数据，通过对点云数据进行处理和识别后，得到诸如道路、地面标志等信息，再通过人工方式对这些数据进行修正，最终生成高精地图数据。然而，这种传统的方式高度依赖点云数据。而由于城市道路空间结构复杂，为了保证高精地图的精度，需要花费大量的人力进行配准工作，从而导致高精地图的生产效率低下，人工成本高昂，且对作业人员的专业技能要求高，最终影响高精地图的规模化生产。

有鉴于此，本公开提供了一种不同于上述传统方式的高精地图的生产方法。下面结合实施例对本公开提供的方法进行详细描述。

图1为本公开实施例提供的高精地图的生产方法流程图，该方法的执行主体可以为推荐装置，该装置可以是位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者，还可以位于服务器端，本发明实施例对此不进行特别限定。如图1中所示，该方法可以包括：

在101中，获取采集设备在各位置点分别采集的点云数据和正视图像数据，得到点云序列和正视图像序列。

在102中，将点云序列和正视图像序列进行正视图像与点云数据的配准。

在103中，依据配准结果将正视图像序列转换为俯视图并确定俯视图中各像素的坐标信息。

在104中，对俯视图进行地图元素的识别，得到高精地图数据。

由以上技术方案可以看出，本公开的思路是将图像采集设备采集的图像数据与激光雷达设备采集的点云数据进行融合，从而实现相互融合的自动化配准，并基于配准结果生成最终的高精地图。这种方式无需额外花费大量人力进行人工配准，提高了生产效率，降低了人工成本以及对作业人员的专业技能要求，为高精地图的规模化生产提供基础。

下面对上述实施例中的各步骤进行详细描述。

首先结合实施例对上述步骤101即“获取采集设备在各位置点分别采集的点云数据和正视图像数据，得到点云序列和正视图像序列”进行详细描述。

在本步骤中涉及的采集设备主要包括以下两种：

图像采集设备，例如相机、摄影机等设备，能够定时或者被触发后进行图像采集。

激光雷达设备，能够定时或者被触发后通过发射激光扫描的方式获取周围环境表面反射点集合的数据，即点云数据。这些点云数据包括点的坐标信息，通常该坐标信息是在激光雷达设备坐标系下的坐标。

还可以包括具有定位功能的设备，即负责进行位置信息的采集，例如GNSS(GlobalNavigation Satellite System，全球卫星导航系统)设备。

在公开中，可以采用一个可移动的设备(例如采集车)承载上述采集设备，然后在可移动设备行进的过程，各采集设备按照一定的频率进行数据采集，或者在相同位置点被触发进行数据采集。

例如，图像采集设备按照一定的采集频率采集得到的正视图像构成正视图像序列其中，I_i为在时间t_i采集的一帧正视图像。

激光雷达设备按照一定的采集频率采集得到的点云数据构成点云序列其中P_i为在时间t_i采集的一帧点云数据。每一帧点云数据包括M个点的坐标信息，即一帧点云数据包括的坐标信息为P_i＝{p₁,p₂,...,p_M}，其中p_j为第j个点的坐标信息。

位置采集设备按照一定的采集频率采集得到的位置数据构成位置序列其中L_i为在时间t_i采集的位置数据。

上述N为采集设备进行数据采集的次数，即每一种采集设备分别得到的数据数量。

作为一种优选的实施方式，为了保证数据的同步和后续配准过程，可以预先对采集设备进行时钟同步和/或联合标定。

其中，在对采集设备之间进行时钟同步时，优选需要达到毫米级别。具体的同步方式可以选择基于GPS的“PPS(Pulse Per Second，每秒脉冲数)+NMEA(National MarineElectronics Association，美国国家海洋电子协会)”，或基于以太网的IEEE 1588(或IEEE802.1AS)时钟同步协议。

对采集设备进行联合标定，主要是为了得到采集设备中图像采集设备的内、外参信息，激光雷达设备的外参信息，激光雷达坐标系到图像采集设备坐标系的转换及平移矩阵M₁，以及图像采集设备的内参信息矩阵M₂。

联合标定的方式主要是预设一个标定板，调整激光雷达设备和图像采集设备对标定板进行拍照和点云捕捉。然后找到至少三个对应的图像上的二维点和点云的三维点，即构成三个点对。利用这三个点对进行PNP(pespective-n-point，多点透视成像)求解，就可以得到激光雷达设备的坐标系和图像采集设备的坐标系之间的变换关系。

由于设备间的时钟同步和联合标定可以采用目前比较成熟的技术，在此不做详述。

下面结合实施例对上述步骤102即“将点云序列和正视图像序列进行正视图像与点云数据的配准”进行详细描述。

本步骤中将点云序列和正视图像序列进行正视图像和点云数据的配准，其思路是将正视图像序列中相邻图像首先进行配准，得到相邻图像中对应像素构成的集合，然后将点云数据投影到该集合中，从而得到集合中各像素的坐标信息。配准的过程实际上一方面是确定出较为准确的像素，一方面是确定出这部分像素的坐标信息。下面描述一种优选的实施方式，图2为本公开实施例提供的一种优选的配准处理流程图，如图2中所示，该流程可以包括以下步骤：

在201中，将正视图像序列中相邻图像进行配准，得到相邻图像中对应像素构成的集合。

由于在图像采集设备中是按照一定的频率进行的图像采集，因此相邻两帧图像是不相同的。本步骤的目的是为了得到相邻图像中哪些像素点是对应的，假设连续两帧图像和图像经过图像配准后，得到图像中的K个像素是和图像中的K个像素是对应的，分别表示为集合： 其中，图像的像素与图像的像素点对应，与对应，以此类推。

在进行配准时，可以采用基于特征的方法或深度学习方法等。其中基于特征的方法主要包括：确定两帧图像中各像素的特征，其中特征可以采用诸如SIFT(Scale-invariant feature transform，尺度不变特征转换)；然后基于相似度的方式进行特征匹配，从而得到对应的像素点。例如特征之间的相似度超过预设相似度阈值的两个像素点之间匹配成功。

深度学习方法主要包括：使用诸如卷积神经网络、VGG(Visual Geometry GroupNetwork，视觉几何组网络)层等来生成各像素的特征向量表示，然后基于两帧图像中各像素的特征向量表示进行特征匹配，从而得到对应的像素点。例如，特征向量表示之间的相似度超过预设相似度阈值的两个像素点之间匹配成功。

在202中，依据采集点云数据的激光雷达设备旋转一周的运动量，对点云数据进行畸变校正。

本步骤是优选执行的，有助于提高点云数据在后续配准过程中的准确性。

图像采集设备采用的是全局快门，可以认为是在瞬间获得的。而激光雷达设备不是瞬时获得的，通常是发射接收机旋转一周即360度后采集到。假设旋转一周为100ms，那么在一个采集周期内形成的一帧点云数据中，最开始的点和最后的点之间相差100ms，再加上激光雷达设备是在运动过程中采集的，因此点云数据存在畸变，不能真实反映某一时刻真实的环境。为了更好地对图像数据以及点云数据进行配准，在本步骤中对点云数据进行畸变校正。

由于激光雷达在计算激光点坐标时，是以接收到激光束时刻激光雷达自身坐标系为基础的，所以在激光雷达运动过程中，每一列激光点的基准坐标系都是不一样的。但是它们在同一帧点云里，因此进行畸变校正的过程中需要将其统一在同一个坐标系下。

畸变校正的思路是计算采集过程中激光雷达的运动，然后在每帧点云上补偿这个运动量，包括旋转和平移的补偿。首先确定一帧点云中的第一个激光点，后续激光点可以确定出相对于第一个激光点的旋转角度和平移量，然后进行先旋转再平移的补偿转换，就可以得到矫正后的激光点的坐标信息。

更进一步地，在步骤202之后，还可以确定相邻图像中对应点云构成的集合。

具体地，可以首先根据图像采集设备的内参信息矩阵、图像采集设备的坐标系到图像平面的旋转矩阵以及激光雷达坐标系到图像采集设备坐标系的转换及平移矩阵，得到点云到图像的投影矩阵；然后利用投影矩阵将点云数据投影到图像上。进行投影后，可以确定相邻图像中对应的点云集合。假设连续两帧图像和图像经过上述投影后，得到投影到图像中的K₁个点构成的集合以及投影到图像中的K₂个点构成的集合，将两个集合求交集，即为图像和图像中对应点云构成的集合该集合的用途将在后续实施例中涉及。

在203中，确定点云序列中的基准点云。

具体地，可以将点云序列中的首帧作为基准点云。

但在实际情况中，点云序列中可能并非首帧点云是最为准确的。因此，本公开中提供了一种优选的确定基准点云的方式。具体地，可以首先将点云序列中的首帧作为基准，逐帧对其他点云数据进行配准；将点云图像序列中，与前后两帧点云数据的配准点占比最高的一帧点云作为基准点云。

其中，在逐帧对其他点云数据进行配准时，可以采用如图3中的方式，包括以下步骤：

在301中，从作为基准的点云及其尚未配准过的相邻点云中学习两帧点云之间的转换矩阵。

若从首帧开始作为基准，那么确定首帧点云和第二帧点云，从这两帧点云中学习两者的转换矩阵。

由于相邻两帧点云实际上是旋转和平移的关系，即将首帧点云进行旋转和平移后理论上能够得到第二帧点云。而实际场景下，由于采集设备在行进过程中可能存在颠簸等，可能会有一些偏差，因此，可以采用诸如ICP(Iterative Closest Point，迭代最近点)方法进行转换矩阵的学习。例如，旋转矩阵表示为R，平移矩阵表示为t，那么在学习R和t时，损失函数可以为：作为基准的点云中各点依据转换矩阵转换得到的各转换点与相邻点云中各转换点最近的点之间的距离均值或者加权均值。

例如，可以采用如下损失函数：

其中，E(R，t)表示损失函数，x_i表示作为基准的点云例如首帧点云中的点，R(x_i)+t表示依据转换矩阵对x_i进行的转换，为对x_i进行变换后在相邻点云例如第二帧点云中匹配上的最近点。n为能够匹配上的点的数量。逐个点进行学习后，以最小化上述损失函数为目标，最终可以学习到转换矩阵R和t。

再例如，还可以采用如下损失函数：

与上述公式(1)不同的是，增加了加权系数w_i，其取值可以依据作为基准的点云中的点是否属于对应点云构成的集合来确定。例如可以采用如下公式：

其中，α≥1，例如可以取α＝1.5，或α＝2.0。

除了上述ICP方法之外，还可以采用诸如DGR(Deep global registration，深度全局配准)等基于深度特征学习的方法。

在302中，利用该转换矩阵将作为基准的点云进行转换，得到配准后的相邻点云。

例如，将首帧点云中的各点利用上述转换矩阵R和t进行转换后，得到第二帧点云中配准后的各点。

在303中，判断点云序列中是否还存在尚未配准过的相邻点云，如果是，执行步骤304；否则，结束当前配准流程。

在304中，将相邻点云作为新的基准，转至执行步骤301。

例如，继续将配准后的第二帧点云作为新的基准，对第三帧点云执行上述过程进行配准，得到配准后的各点。然后再以配准后的第三帧作为新的基准，对第四帧点云执行上述过程进行配准，以此类推。

完成点云序列中所有帧点云的配准后，将点云图像序列中，与前后两帧点云数据的配准点占比最高的一帧点云作为基准点云。其中，第j帧点云P_j的配准点占比A_j可以采用如下公式确定：

其中，match()表示前后两帧点云中能够配准上的点的交集，可以体现为一帧点云按照转换矩阵进行转换后得到的各点与另一帧点云中各点的交集。||表示集合中点的数量，例如|P_j-1|表示第j-1帧点云中的点数量。

继续参见图2。在204中，以基准点云为基准，逐帧对其他点云数据进行配准。

确定出基准点云后，采用如图3中所示的方法，以基准点云为基准逐帧对其他点云数据进行配准。如果基准点云为首帧，则依次对后续各帧点云进行配准。如果基准点云为非首帧，则以基准点云为基准，向前和向后对各帧点云进行配准。最终得到配准后的点云序列。

在205中，将配准后的点云数据投影到步骤201得到的集合中，得到集合中各像素的坐标信息。

具体可以包括将点云数据的坐标投影到集合，得到正视图像中像素对应的点云的坐标信息；依据激光雷达坐标系到图像采集设备坐标系的转换及平移矩阵，将正视图像中像素对应的点云的坐标信息转换为像素的坐标信息。

其中，上述集合实际上是经过相邻图像配准后得到的对应像素。经过将点云数据分别投影到图像上，取落入上述集合的点(即激光点)，就可以得到正视图像中这些集合中各像素对应的点云的坐标信息。关于点云数据到图像的投影方式可以参见之前实施例中的相关记载，在此不做赘述。

在得到正视图像中像素对应的点云的坐标信息后，由于激光雷达设备的坐标系与图像采集设备的坐标系不同，因此需要将点云的坐标信息转换为像素的坐标信息，即转换到图像采集设备的坐标系下。

下面结合实施例对上述步骤103即“依据配准结果将正视图像序列转换为俯视图并确定俯视图中各像素的坐标信息”进行详细描述。

本步骤中，可以首先基于逆透视变换，将正视图序列中的各帧正视图像转换为俯视图；然后根据正视图像中像素的坐标信息在俯视图上进行匹配，确定俯视图中各像素的坐标信息。

其中，逆透视变换是目前进行图像投影变换的一种常用方式。其实质就是将图像采集设备采集的正视图像变换到世界坐标系下的z＝0平面中。

假设正视图中像素的坐标信息表示为(u，v)，需要转换为世界坐标系下的坐标(x,y,z)。在联合标定过程中能够获取到如下参数：

γ：图像采集设备光轴o在z＝0平面的投影与y轴的夹角；

θ：图像采集设备光轴o偏离z＝0平面的角度；

2α：图像采集设备的视角；

R_x：图像采集设备水平方向的分辨率；

R_y：图像采集设备垂直方向的分辨率。

逆透视变换模型可以表示如下：

其中，h为图像采集设备距离地面的高度，cot()为余切函数。

经过上述逆透视变换，能够将诸如图4a中所示的正视图像转换为如图4b中所示的俯视图。

按照上述的逆透视变换理论实际上可以将正视图序列中的每帧正视图像都分别转换得到一张俯视图，若存在N帧正视图像，则得到N张俯视图。这些俯视图实际是相互重叠的，特别是相邻的两张俯视图，大部分区域都是重叠的。由于在上述过程中俯视图中的像素的坐标信息可以得到，因此可以基于各张俯视图中像素的位置信息进行逐张的拼接，最终得到高清地图。

下面结合实施例对上述步骤104即“对俯视图进行地图元素的识别，得到高精地图数据”进行详细描述。

在本步骤中，可以对步骤103中得到的俯视图进行道路信息的识别；然后将识别得到的道路信息叠加至俯视图中展现，得到高精地图数据。

其中道路信息可以包括车道线、车道线类型(例如白色实线、单黄实线、双黄实线、黄色虚实线、导流线、黄色禁止停车线等等)、颜色、车道的导向箭头信息、车道类型(例如主车道、公交车道、潮汐车道等等)等。

进行上述识别时，可以采用基于深度神经网络的语义分割模型来分割道路信息，例如DeepLabV3。也可以采用基于深度神经网络的图像识别技术来识别上述道路信息，例如Faster-RCNN(Regions with CNN features，卷积神经网络特征区域)。

在此需要说明的是，基于上述俯视图的识别主要是对于地面元素的识别，即主要是道路信息的识别。而对于诸如交通标志、建筑物等其他地图元素的识别则从正视图像中识别。这部分可以采用现有技术中的方式，在本公开中不做限制。

将识别得到的道路信息叠加至俯视图中展现后，作业人员能够直接依据俯视图的数据与叠加的道路信息进行比对，对存在问题的数据进行修正，产出最终的高精地图数据。

以上是对本公开所提供方法进行的详细描述，下面结合实施例对本公开提供的装置进行详细描述。

图5为本公开实施例提供的高精地图的生产装置结构图，如图5所示，该装置500可以包括：获取单元510、配准单元520、转换单元530和识别单元540。其中各组成单元的主要功能如下：

获取单元510，用于获取采集设备在各位置点分别采集的点云数据和正视图像数据，得到点云序列和正视图像序列。

其中，上述采集设备至少包括用于采集正视图像的图像采集设备和用于采集点云数据的激光雷达设备。

作为一种优选的实施方式，为了保证数据的同步和后续配准过程，可以预先对采集设备进行时钟同步和/或联合标定。

配准单元520，用于将点云序列和正视图像序列进行正视图像与点云数据的配准。

转换单元530，用于依据配准结果将正视图像序列转换为俯视图并确定俯视图中各像素的坐标信息。

识别单元540，用于对俯视图进行地图元素的识别，得到高精地图数据。

具体地，配准单元520可以包括：第一配准子单元521和投影子单元522，还可以进一步包括校正子单元523、基准子单元524、第二配准子单元525和第三配准子单元526。

其中，第一配准子单元521，用于将正视图像序列中相邻图像进行配准，得到相邻图像中对应像素构成的集合。

投影子单元522，用于将点云数据投影到集合，得到集合中各像素的坐标信息。

作为一种优选的实施方式，校正子单元523，用于依据采集点云数据的激光雷达设备旋转一周的运动量，对点云数据进行畸变校正后提供给投影子单元522。

作为另一种优选的实施方式，基准子单元524，用于确定点云序列中的基准点云。

第二配准子单元525，用于以基准点云为基准，逐帧对其他点云数据进行配准，将配准后的点云数据提供给投影子单元522。

上述两种方式可以结合，例如先采用校正子单元523对点云数据进行畸变校正，然后由基准子单元524确定基准点云，并由第二配准子单元525进行配准。

基准子单元524可以将点云序列中的首帧点云作为基础点云。但作为一种优选的实施方式，基准子单元524，具体用于将点云序列中的首帧提供给第二配准子单元525作为基准，逐帧对其他点云数据进行配准，从第二配准子单元525获取配准结果；将点云序列中，与前后两帧点云数据的配准点占比最高的一帧点云作为基准点云。

第二配准子单元525，用于：

从作为基准的点云及其尚未配准过的相邻点云中学习两帧点云之间的转换矩阵；

利用转换矩阵将作为基准的点云进行转换，得到配准后的相邻点云；

将相邻点云作为新的基准，转至执行从作为基准的点云及其尚未配准过的相邻点云中学习两帧点云之间的转换矩阵的操作，直至完成对点云图像序列中的所有点云数据的配准。

作为一种可实现的方式，第二配准子单元525在从作为基准的点云及其尚未配准过的相邻点云中学习两帧点云之间的转换矩阵时，具体用于：采用迭代最近点ICP算法，从作为基准的点云以及相邻点云中学习两帧点云之间的转换矩阵；其中，ICP算法的损失函数为：作为基准的点云中各点依据转换矩阵转换得到的各转换点与相邻点云中各转换点最近的点之间的距离均值或者加权均值。

作为一种优选的实施方式，第三配准子单元526，用于确定相邻图像中对应点云构成的集合。

第二配准子单元525在确定加权均值时，各距离采用的权值依据作为基准的点云中的点是否属于对应点云构成的集合确定。

投影子单元522，具体用于将点云数据的坐标投影到集合，得到正视图像中像素对应的点云的坐标信息；依据激光雷达坐标系到图像采集设备坐标系的转换及平移矩阵，将正视图像中像素对应的点云的坐标信息转换为像素的坐标信息。

转换单元530，具体用于基于逆透视变换，将正视图序列中的各帧正视图像转换为俯视图；根据正视图像中像素的坐标信息在俯视图上进行匹配，确定俯视图中各像素的坐标信息。

识别单元540，具体用于对俯视图进行道路信息的识别；将识别得到的道路信息叠加至俯视图中展现，得到高精地图数据。

其中道路信息可以包括车道线、车道线类型(例如白色实线、单黄实线、双黄实线、黄色虚实线、导流线、黄色禁止停车线等等)、颜色、车道的导向箭头信息、车道类型(例如主车道、公交车道、潮汐车道等等)等。

进行上述识别时，可以采用基于深度神经网络的语义分割模型来分割道路信息，例如DeepLabV3。也可以采用基于深度神经网络的图像识别技术来识别上述道路信息，例如Faster-RCNN(Regions with CNN features，卷积神经网络特征区域)。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图6所示，是根据本公开实施例的高精地图的生产方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如高精地图的生产方法。例如，在一些实施例中，高精地图的生产方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。

在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的高精地图的生产方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行高精地图的生产方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控30制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPs，Ⅵirtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。