具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。

图1为本发明的基于智能AI和移动APP的消防设施检测及现场验收评定系统，包括数据采集系统、移动端系统和后台服务器。

数据采集系统为人工智能工具箱，用于采集消防设备的数据，该人工智能工具箱包括图像采集装置、照度计、声级计、测距仪、卷尺、风速计、数字微压计等等，具体其他相关检测工具，此处不再过多介绍，参见现有公开的检测工具。

其中图像采集装置主要是采集消防设备的图像信息，对消防设施进行分析，能够快速地对若干图像进行处理，提高了获取图像信息的效率。而其他的照度计、声级计、测距仪、卷尺等分别用于测量物体被照明的程度、消防设施的噪声、消防设施距离、高度、宽度、长度、面积、厚度等的可测量数据。

需要说明的是，该人工智能工具箱是独立的硬件装置，对于图像采集装置，其可以将采集到的图像数据传输至移动端系统，该传输可以为有线传输，其也可以直接将图像采集装置设置在移动端系统上，而当移动端系统为手机系统，则该图像采集装置即可为手机自带的摄像头；对于照度计、声级计等工具采集的数据，可以直接人为录入到移动端系统。

另外，图1的结构框图中箭头表示的是数据采集系统、移动端系统和后台服务器之间的数据传输的关系，并不全代表三者之间连接的关系；实际上，数据采集系统与移动端系统之间并不连接，而是数据采集系统采集数据后，由验收人员将采集的相关数据录入移动端系统；而移动端系统与后台服务器之间是无线连接。

如图2所示，移动端系统，包括账号登录模块、GPS模块、数据录入模块、数据处理模块、评定模块和无线传输模块；

其中的账号登录模块包括：

注册模块，用于消防检测机构、验收机构在该系统进行申请注册入库；

身份认证模块，用于核对消防检测机构、验收机构的资质信息、人员证书、人员身份证信息，并进行备案；

账号分配模块，用于在备案后，随机建立临时账号并分配给技术服务人员相应的任务；需要说明的是，该分配账号可以基于uuid来自动化通过程序建立有权限的账号，具体方法为现有技术，此处不再过多赘述。

登录模块，利用临时账号进行登录。

GPS模块，用于对验收人员位置进行定位，判断该验收人员是否达到验收的消防设施附近，并提醒验收人员进行APP登录。

数据录入模块，用于将数据采集系统采集的数据输入到移动端系统。

数据处理模块，用于对数据采集系统采集的采集数据进行处理，如对采集的图进行三维重建，获取图像特征，进行消防设施的验收分析。

评定模块，用于对处理后的数据与标准数据进行比对，进行评定。

无线传输模块，用于将评定后的数据上传至后台服务器，其可以为GPRS模块或WIFI模块。

该手持终端系统为基本验收设备，由验收人员携带，当验收人员到达需验收的消防设施设备位置时，可以将验收的数据录入手持终端系统中。

本实施例中的手持终端系统可以为移动端App。

后台服务器，根据接收到的评定后的数据，形成验收评定表，并进行相关数据的存储。

需要说明的是，验收人员(检测机构、验收机构)需要在该平台进行申请注册入库，资质信息、人员证书、人员身份证备案等操作。

在进行验收时，消防设施检测机构、消防验收评定机构需要进行合同备案；备案后，平台返回机构公司一个临时账号，该临时账号分配给验收人员任务并建立验收人员临时账号。

其中的位置信息为验收人员是否位于需要验收的消防设施附近的区域内，当验收人员进入相应的区域后，可利用临时账号登录APP进行刷脸实名认证，开始利用移动端APP及人工智能终端工具箱进行消防检测/评定。

基于上述消防设施现场验收的评定系统，本发明给出了一种适用于上述评定系统中的数据处理模块的数据处理过程的实施例，下面以移动APP为例，结合具体的应用场景，进行具体地介绍。

如图3所示，本发明的基于智能AI和移动APP的消防设施检测及现场验收的评定系统的验收评定方法为：

1)获取验收人员的位置信息，判断所述位置信息是否在电子围栏区域内，若所述位置信息在所述电子围栏区域内，则获取验收人员的身份信息，并进行移动终端登陆；所述身份信息包括验收人员的登陆账号及对应的登陆密码；所述位置信息为验收人员位于消防设施检测区域；

2)移动端系统实时获取上传的消防设施的采集数据，对采集数据进行处理，并将将处理后的采集数据与设定标准数据进行比较，根据比较结果，生成验收结果，根据所述验收结果对消防设施进行验收评定。

上述步骤2)中的电子围栏区域是工作现场中需要进行消防设施检测及消防验收评定的区域。

作为其他实施方式，移动端APP后台还包含对技术服务人员的检测，利用现场的智能摄像头对电子围栏区域内人员进行行为检测，当行为存在异常时，向终端反馈请求进行认证要求。

本实施例中，数据处理模块对采集数据进行处理，其处理过程，如图4所示，包括以下步骤：

步骤1，获取消防设施的采集数据，所述采集数据包括电子围栏区域的图像以及测量数据；

该步骤中消防设施的采集数据包含两组数据，一个是可测量数据，一个是可检测数据；其中的可测量指标是通过人工智能终端工具箱中的相应测量工具对消防设施距离、高度、宽度、长度、面积、厚度、空气风速等可测量指标进行现场测量。由于可测量指标是通过相应工具直接进行测量的数据，本发明不再进行详细讨论。

而可检测指标是通过图像采集装置进行的图像数据的检测，主要是实现记录消防设施的可测量指标并采集消防设施的图像，进而得到检测/评定的数据。

步骤2，对所述电子围栏区域的图像进行三维重建，获取消防设施的点云数据；

本实施例中的电子围栏区域的图像是通过人工智能终端工具箱进行现场测量的，具体地，利用人工智能终端工具箱对电子围栏区域进行扫描，获取区域的三维表示，其中人工智能终端工具箱内嵌有传感器设备，优选的为深度相机。区域的三维表示，优选的为点云表示。深度相机采集的图像为深度图像。然后对于电子围栏区域扫描的图像进行三维重建，获取点云数据。

其中，三维重建通常包含以下步骤：

a)提取图像特征(如SIFT、SURF等)；

b)利用特征计算图像之间的特征匹配；

c)基于匹配的特征进行稀疏重建，得到各个图像的相机位姿和稀疏的特征点云(SfM)；

d)基于相机位姿进行稠密重建，得到稠密点云(PMVS/CMVS)。

由于三维重建在计算机视觉领域及其应用较为成熟，因此这里不再赘述三维重建的具体细节。

进一步的，基于点云数据进行消防设施目标识别，优选的技术采用基于深度学习的三维物体检测技术，三维对象检测器以场景的点云作为输入，并围绕每个检测对象生成定向的三维边界框，具体的方法有基于Reion Proposal的方法和基于Single Shot的方法，最终得到各个消防设施的三维表示。

步骤3，对所述点云数据，进行聚类处理，得到若干个点簇，获取点簇的最小外界包围框；根据所述最小外界包围框，计算所述点簇的概率密度和方向均匀性指标；

根据所述点簇的概率密度和方向均匀性指标，计算点簇的一致性指标，获取消防设施的平均一致性指标；

上述实施例中的点簇的概率密度的计算方法为：

对点簇内的点云进行统计，计算点云几何的均值与协方差，并计算各点簇的概率密度；

点云的密度：

点云的均值：

点云的协方差：

则点簇的概率密度为：

其中，p_i为点簇内第i个点云的密度，n为点簇中点云的个数，分别第l个点簇的平均概率密度。

作为其他实施方式，为了便于进行消防设施部件聚类，本申请对点云数据进行聚类处理之前，进行网格化处理。

上述实施例中的方向均匀性指标的计算过程为：

对所述最小外界包围框进行一次网格化处理，统计每个网格法向量点的数量，以及根据所述网格法向量点的数量，构成网格包围框，计算所述网格包围框的体积；

根据所述网格法向量点的数量和所述体积，计算各网格的方向均匀性指标，获取点簇的方向均匀性指标。

其中各网格的方向均匀性指标为：

其中，gridN_b分别表示网格法向量点的平均数量、第b个网格内的法向量点数量；gridV_b分别表示网格法向量点的3D最小外接包围框的平均体积、第b个网格内的法向量点的3D最小外接包围框的体积,B为网格的个数,本实施例的B取8。

本实施例中，UD_b值越大表示方向分布越不均匀。

则每个点簇的点云一致性指标为：

其中，w1、w2分别为相应的权重映射值，分别为4、0.2。

则点簇的平均一致性指标为：

其中，n为点簇的个数，M_l为第l个点簇的点云一致性指标。

需要说明的是，本发明考虑了可能存在不同的消防设施部件，因此首先对标准点云中每一个网格内的点云进行DBSCAN密度聚类，得到多个点簇，此处认为一个点簇即为一个部件，DBSCAN密度聚类通常需要人为进行调参；对于点簇通常应有阈值G1，保证每一个点簇都有至少G1个点云组成，经验值为50。

本实施例中在计算了点簇的概率密度后，还需要考虑点簇的点云在方向上的统计，因此，估计经过网格化处理后的网格内每个点云的法向量，其中法向量估计方法，有K近邻估计，半径近邻估计，混合搜索估计等，具体采用的方法可以根据实际情况进行选取，最终得到每个点云的法向量点。

本发明通过每个网格的平均概率密度分布及方向均匀性指标可以有效的反映出网格内点云的空间分布，进而用于设施完整性的检测，同时考虑到每个第二网格所形成的最小外接包围框体积及数量，进一步消除点云的不一致性(由于点云为三维重建出来的点云，即便相同的设备在同一位置处，重建出的点云也可能不一致)所带来的精度下降问题。

步骤4，将所述电子围栏区域的平均一致性指标和标准一致性指标进行差值计算，计算电子围栏区域的各消防设施的完整性指标；

本实施例中的消防设施的完整性指标为：

GM2＝|GM-GM₀|

其中，GM为点簇的平均一致性指标，GM₀为标准一致性指标。

本实施例中的标准一致性指标是根据预先建立的标准库的点云数据，对所述标准库的点云数据进行聚类处理，得到若干个标准点簇，获取标准点簇的最小外界包围框；根据最小外界包围框，计算标准点簇的概率密度和方向均匀性指标；

根据标准点簇的概率密度和方向均匀性指标，计算标准点簇的一致性指标，即为获取消防设施的标准一致性指标；

需要说明的是，本实施例中的消防设施的平均一致性指标与标准一致性指标，在获取时，三维重建的点簇与标准点簇是一一映射的，也就是说，重建的三维点云的点簇集合通过标准点云的点簇集合进行映射得到，首先获取标准点云中每一个点簇的最小外接包围框，然后获取重建点云内同样位置该最小外接包围框内的点云。

步骤5，根据消防验收标准获取验收规则，并根据验收规则选择对应的关键点簇，对所述关键点簇提取质心，并通过最近邻搜索算法，获取所述质心的最邻近K个点云，获取各点簇的质心与对应的所述点云的关键点集合，根据所述关键点集合得到关键点簇集合，计算任意两关键点簇的距离；

将所述距离分别与设定标准值进行差值计算，并将所述差值的绝对值求和，获取所述消防设施的规范性指标；

其中，计算的所有关键点簇的倒角距离为：

公式中，S_k、S_t分别为第k个、第t个关键点簇的关键点集合；x是S_k集合中的任一坐标，y是S_t集合中的任一坐标；第一项代表S_k中任意一点到S_t的平均最小距离，第二项则表示S_t中任意一点到S_k的平均最小距离。

其中的规范性指标为：

其中，为第a个验收规则对应的设定标准值,为第a个验收规则对应的任意两两关键点簇之间的距离。

本实施例中的设定标准值可以根据所述标准库的点云数据，进行任意两标准关键点簇之间的距离的计算，再进行求和得到；需要明确的是，此时的设定标准值与计算的任意两两关键点簇之间的距离是一一对应的。也就是说，不同的验收规则下对应的设定标准值是不同的，当然也可以是根据实际情况进行直接设定。

上述实施例中，考虑存在空间位置点云的不一致性，因此采用3D点云倒角距离来评估相同位置处最近邻点云集合的距离，进而更准确评估设施的规范性，避免空间位置点云的不一致性及点云三维重建误差所带来距离的误差。

作为进一步的实施方式，本发明还考虑了点簇的概率密度对规范性指标的影响，其公式如下：

其中，q为验收规则的个数，n1为标准点簇个数，n为点簇的个数，表示第j个标准点簇的平均概率密度，分别第l个点簇的平均概率密度。

本实施例中，GM5差值越大，表示设施越不规范；该项即求标准点簇概率密度和与检测点簇概率密度和的差值，差值越大表示点簇的平均概率密度发生变化越大，即存在越多或越大的杂物或存在部件缺失的情况。

需要说明的是，本实施例中的验收规则是根据消防验收标准制定的，不同的验收标准对应不同的验收规则，不同的验收规则对应的关键点簇是不同的，也即计算的倒角距离的含义也是不同的。其中具体验收规则可以为一个，也可以为多个，每个验收规则对应的关键点簇的集合也是不同的。

如，消防栓箱的消防验收标准为：

1)阀门中心距箱侧面为140mm，距箱后内表面为100mm，允许偏差±5mm；

2)消火栓箱体安装的垂直度允许偏差为3mm。

则验收规则为消火栓阀门中心、箱侧面所处位置均为关键点，对应的选取中心点簇以及箱侧面的点簇，进行倒角距离的计算。

步骤6，根据所述完整性指标和所述规范性指标，计算所述差异性评价指标。

其中差异性评价指标为：

Diff＝GM2*GM5

上述公式为本发明的最优选的方式，当然也可将GM2与GM4相乘，计算Diff；对于Diff，值越大，认为该设备与标准库设备差异性越大。

至此，本发明的方案能够消除消防验收评定中部分检查项由于技术服务人员标准不一致及主观性强，导致验收评定不准确、不可靠的问题。

本实施例中的设定标准为；由于消防设施有所不同，因此不同的消防设施的标准也有所不同，因此，也可以根据实际情况进行设定。

根据上述步骤中得到的差异性评价指标，评定模块将所述差异性评价指标与设定标准、测量数据与设定标准数据进行比较，当所述差异性指标小于设定标准，且所述测量数据与设定标准数据相近，则消防设施合格，得到消防设施的验收结果。

其中的验收结果可以为消防设施是否合格的结果，也可以是直接生成的评定表；当然该评定表也可以在后台服务器中生成。

本发明的移动APP将获取的验收结果，通过无线通信模块将获取的验收结果，上传至后台服务器进行存储。

作为其他实施方式，本发明还对上述数据处理模块的数据处理方法的提供了另一个实施例。

具体地，本实施例中对若干个点簇分别进行两次网格化处理，第一次对点簇进行网格化处理，获取不同的第一三维网格，计算每个第一三维网格的概率密度；第二次是对每个三维网格进行二次网格化处理，计算第二三维网格的方向均匀性指标，利用第二三维网格的方向均匀性指标反应第一三维网格的均匀性；

具体地，本实施例的计算点簇的一致性指标的方法，如下：

1、计算第一三维网格的概率密度：

1)对若干个点簇，进行网格化处理，得到三维网格；

其中，本实施例中的网格划分的经验大小为：

l'＝L/4

w'＝W/2

h'＝H/6

其中L、W、H分别为消防的设施最小外接包围框的长、宽、高，l'、w'、

h'分别为网格的长、宽、高。

以消防栓为例，可以根据上述网格划分为48个三维网格。

2)对三维网格内的点云进行统计，计算点云几何的均值与协方差，并

计算三维网格的概率密度；

其中，p_I为网格内第I个点云的概率密度，N为点簇内网格的个数。

上述公式中的点云的概率密度的计算，由于在实施例一中已经给出了具体的方法，此处不再详细赘述。

2、计算方向均匀性指标：

1)对于第一三维网格进行进一步网格划分，将每个第一三维网格均匀划分为h个小网格，该网格称为第二三维网格，第二三维网格的长、宽、高均为原网格的二分之一；

2)统计各第二三维网格的法向量点的数量，根据所述数量，构建3D最小外接包围框，并计算所述包围框的体积，根据所述数量和体积，计算各第二三维网格的方向均匀性指标；

其中各网格的方向均匀性指标：

其中，gridN_r分别表示第二三维网格法向量点的平均数量、第r个第二三维网格内的法向量点数量，gridV_r分别表示第二三维网格法向量点的3D最小外接包围框的平均体积、第r个第二网格内的法向量点的3D最小外接包围框的体积。

需要说明的是，本实施例中，只统计数量只能知道每个大方向上的数量差异，无法知道每个大方向(即每个象限)上方向分布，因此此处通过法向量点的3D最小外接包围框的体积来反映方向的分布，越大意味着方向分布的越均匀。对于每个第二网格内的法向量点进行3D最小外接包围框的提取，然后用最小外界包围框的体积反映该第二网格的方向均匀性分布。

3、计算各第一三维网格内点云一致性指标，进而获取点簇的平均一致性指标。

本实施例中通过每个网格的平均概率密度分布及方向均匀性指标可以有效的反映出网格内点云的空间分布，进而用于设施完整性的检测，同时考虑到每个第二网格所形成的最小外接包围框体积及数量，进一步消除点云的不一致性(由于点云为三维重建出来的点云，即便相同的设备在同一位置处，重建出的点云也可能不一致)所带来的精度下降问题。

本实施例中由于重建网格点云的数量与标准库的点云不一定一致，因此计算网格的平均概率密度代表了网格内位置被占据的概率，可以表征网格内点云分布。

由于上述统计可以表示点云在网格的空间分布，缺乏点云在方向上的统计，因此，进一步的，估计网格内每个点云的法向量，法向量估计方法如K近邻估计，半径近邻估计，混合搜索估计等，实施者可自由选取，最终得到每个点云的法向量点，法向量点同样应处于网格内。

需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。