具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

在本发明的实施例中，在公交车、出租车等公共交通工具上安装感知终端，通过在在公交车、出租车等公共交通工具上安装感知终端，可以实时地检测发生在城市道路上的异常事件(如路灯故障事件、车祸事件、违章事件等)，并将相应的信息发送给控制中心，控制中心及时将这些城市道路异常信息下发给相关职能部门，由相关职能部门进行处理。可以提高整个城市的管理效率，降低运行成本。

具体地，如图1所示，示出了本发明提供的一种城市道路异常感知处理方法的一个实施例中的主流程示意图；一并结合图2所示，在本实施例中，所述城市道路异常感知处理方法应用于设置在公共交通工具上的感知终端中，所述方法包括：

步骤S10，通过设置于感知终端上的摄像头采集城市道路图像；在具体的例子中，所述感知终端设置于出交车、出租车以及网约车等公共交通工具上，例如设置于车顶上，其上设置有四个方向(前后左右)的摄像头，用于实时采集城市道路图像，在具体的例子中，可以将采集的四幅照片拼接成一幅图像；

步骤S11，对所采集的图像进行异常分析处理，在确定为城市道路异常事件时，触发上报流程；

具体地，在一些例子中，该步骤S11存在两种触发方式：

其一，由公共交通工具的驾驶员触发上报流程；由公共交通工具驾驶员判断城市道路异常事件的类型，并向感知终端发送语音指令，触发上报流程；当驾驶员观察到出现城市道路异常事件时，向感知终端发送语音指令，例如“上报异常”，当感知终端接收并解析该语音指令，则开始进入触发流程；

其二，由感知终端来触发上报流程；感知终端将所采集的图像输入预先训练好的异常判断神经网络，输出城市道路异常事件确认信息，并触发上报流程；其中，所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断，确定是否属于城市场道路异常事件以及异常事件类型，其中，所述城市道路异常事件类型包括：道路异常事件、人异常事件以及车辆异常事件。

可以理解的是，此处的城市道路异常事件可以包括诸如路灯损坏、道路上存在障碍物、道路上发生交通事故、道路上下水道井盖丢失等事件；人异常事件包括诸如开车驾驶员打手机，开车驾驶员吸烟，开车不寄安全带等事件；车辆异常事件包括诸如出现禁行的车辆，例如出现限行的工程车、叉车以及货车等。其中，预先需要采用大量的训练图片对各类型城市道路异常事件进行训练，形成异常判断神经网络，在输入相应图片后，通过异常判断神经网络，可以输出判断结果，即确认当前图片是否属于城市道路异常事件，如果属于则同时输出具体的异常类型。

在更具体的例子中，该神经网络可以分为行为识别网络和目标检测网络；其中，行为识别网络可以负责对驾驶员开车打手机、开车吸烟、开车不寄安全带，发生交通事故等进行识别处理；可以理解的是，深度学习网络采用常用的行为识别网络可以是诸如时空双流网络、R-C3D(Region 3-Dimensional Convolution)网络等，在本发明的一个实施例中，可以采用R-C3D网络进行行为识别，当神经网络识别出有开车打手机、开车吸烟、发生交通事故、开车不寄安全带的行为时，则进行上报处理；

而目标检测网络可以负责对路灯故障、道路上有障碍物、禁行车辆、道路上下水道井盖丢失等事件进行识别处理；常用的目标检测网络有yolo、ssd、yolov3等等，而在本发明实施例中，可以采用yolov3网络检测目标，当检测出异常目标时，进行相应的上报处理；其中，对路灯故障识别还可以设置特别的识别程序，例如，在一个例子中，可以首先获取大灯的状态，如果大灯的状态是灭的，默认是白天，不做任何处理；如果大灯是亮的，说明是比较暗的状态，因为大灯不能完全代表黑夜和白天；在白天转黑夜的过程，加入判断如果多帧连续监测，比如5帧都只有一个路灯不亮，其它的都亮，则认为是路灯损坏。

步骤S12，根据所述的城市道路异常事件生成城市道路异常上报信息，所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息；

步骤S13，对所述城市道路异常上报信息，在已经上报列表中确认是否存在重复的上报信息；其中，所述已经上报列表与控制中心的已经上报列表定时同步；此处的定时同步的过程可以是控制中心周期性将最新的已经上报列表发送给各感知终端，也可以是各感知终端周期性或在需要时向控制中心请求最新的已经上报列表。而在上报列表中至少包括有已经上报且在处理中的各城市道路异常事件对应定位信息、异常类型以及时间信息，在一些例子中也可以包含各城市道路异常事件的图像信息；

具体地，所述步骤S13进一步包括：

步骤S130，根据本次城市道路异常事件的定位信息，在已经上报列表选择用于对比的在先城市道路异常事件；具体地，可以将已经上报列表中，符合当前位置附近且异常类型相同的上报信息作为对比的在先道路异常事件；

步骤S131，将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较，进行定位信息比较以及图像相似度比较，以确定已经上报列表中是否存在重复的异常事件；

当比较结果为下述中至少一个时，则确定已经上报列表中存在重复的异常事件：两者位置相差在一预定的距离阈值(如50米)之内，或两者的图像场景相似度大于一预定的相似阈值(如70％)。可以理解的是，在不同的应用场合，可以设定具体需要满足的条件的个数，例如在一些场合需要符合其中一个，则判断为重复的异常事件；而在另一些场合则需要符合其中两个，则判断为重复的异常事件。而其中的预定的距离阈值、相似阈值以预先设定或预先标定。

在具体的例子中，在步骤S131中，将本次城市道路异常事件与在先城市道路异常事件进行图像相似度比较的步骤具体可以采用两种方法：

其一：计算本次城市道路异常事件与在先城市道路异常事件的直方图，计算两个直方图的相关性，将所述相关性确定为两个事件的图像场景相似度；可以理解的是，在现有技术中，常用的比较两幅图像的直方图的相关性的指标包含诸如：相关、卡方、直方图相交、bhattacharyya距离、陆地移动距离(EMD)等；而在本发明的一些例子中，可以采用EMD方法，其方法是求出从一幅图像(感知终端采集的四幅图像拼接而成的图像)转化为另一幅图像(在先城市道路异常图像)的代价；也可以用直方图来表示就是求得一个直方图转化为另一个直方图的代价；如果代价越小，则表示两幅图越相似。

其二：将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络，通过所述神经网络计算，输出两个事件的图像场景相似度。

步骤S14，在确认结果为不存在重复的上报信息时，将所述城市道路异常上报信息发送给控制中心。

在一些其他的例子中，在所述步骤S14中进一步包括：

通过语音向公共交通工具驾驶员提示当前城市道路异常上报信息，在接收到公共交通工具驾驶员的语音确认后，将所述城市道路异常上报信息发送给控制中心。

可以理解的是，在本实施例中，通过设置于公共交通工具上的感知终端，可以很方便及时地将城市道路异常事件上报给控制中心；同时，由于在上报之前需要在最新的已上报清单中确认是否存在重复的上报信息，可以避免同一城市场道路异常事件被多次重复上报，降低了重复率，从而减少控制中心的工作量；再次，通过设置驾驶员语音确认功能，可以进一步降低误报率，提高上报准确度。

如图2所示，为本发明提供的一种城市道路感知处理方法的另一个实施例的主流程示意图。在本实施例中，所述城市道路感知处理方法应用于控制中心中，所述方法包括：

步骤S20，接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息；所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息，所述图像信息为感知终端上的摄像头所拍摄的图像；

步骤S21，解析所述城市道路异常信息，获得其携带的图像信息、定位信息、异常类型以及时间信息；

步骤S210，在已经上报列表中，对所述城市道路异常信息进行查重处理；根据对本次上报信息所解析出的内容，查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息，如果存在，则丢弃本次的城市道路异常信息；

步骤S22，将所述城市道路异常信息下发给所述异常类型所对应的处理终端，并写入已经上报列表；其中，不同的异常类型可对应于不同的处理终端，这些处理终端设置于各职能部门中；处理终端可以是诸如职能部门中相关人员所携带的智能手机；职能部门中相关人员可以根据处理终端接收到的城市道路异常信息，去相应的定位位置进行处理，并在处理完成后，通过处理终端将相应的处理结果发送给控制中心；

步骤S23，在接收来自所述处理终端的处理结果后，在已经上报列表中删除本条城市道路异常信息对应的记录，从而可以确保已经上报列表中的异常信息为最新的在处理中(未处理完)的信息。

可以理解的是，其中步骤S210为可选的步骤。

同时，在一些实施例中，所述步骤S23进一步包括：

将所述城市道路异常信息进行语音提示，并识别人工确认结果语音，在识别的确认结果为所述城市道路异常信息真实有效时，将所述城市异常信息下发给所述异常类型所对应的处理终端；否则，所述流程回至步骤S20。

下述结合一个交通事故处理的例子进行说明，以便更好地理解上述图1至图3中描述的方法。

安装在公共交通上的感知终端拍摄并处理图像，当公共交通工具通过事故地点时，感知终端处理输入的图片，利用神经网络判断出事交通事故场所及类型，保存此时的图片和定位信息；并判断当前交通事故是否已经上报，如果已经上报，则不做处理，如果没有上报，判断感知终端是否开启了语音提示确认功能，如果是，则语音提示驾驶员，是否有交通事故发生；在驾驶员确认之后，上报异常事件信息，如果没有开启语音提示功能，则直接上报给控制中心；

控制中心在接收到感知终端上报的异常信息后，如果开启了人工确认，则语音提示人工确认，如果没有开启人工确认，则判断事件类型，下发给交通管理部门的处理终端；

交管部门相关人员接收到异常事件信息时，去现场确认处理相关事故，处理完成之后，向控制中心发送处理完成信息；

控制中心消除相关异常事件，整个处理过程完成。

如图4所示，示出了本发明提供的一种城市道路异常感知处理装置的结构示意图；一并结合图5至图7所示，在本实施例中，所述城市道路异常感知处理装置1设置于感知终端中，其包括：

采集单元11，用于通过设置于感知终端上的摄像头采集城市道路图像；

上报触发单元12，用于对所采集的图像进行异常分析处理，在确定为城市道路异常事件时，触发上报流程；

上报信息生成单元13，用于根据所述的城市道路异常事件生成城市道路异常上报信息，所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息；

过滤单元14，用于对所述城市道路异常上报信息，在已经上报列表中确认是否存在重复的上报信息；其中，所述已经上报列表与控制中心的已经上报列表定时同步；

上报单元15，用于在确认结果为不存在重复的上报信息时，将所述城市道路异常上报信息通过所述通信装置发送给控制中心。

在具体的例子中，所述上报触发单元12进一步包括：

驾驶员触发单元120，用于由公共交通工具驾驶员判断城市道路异常事件的类型，并向感知终端发送语音指令，触发上报流程；或

神经网络触发单元121，用于将所采集的图像输入预先训练好的异常判断神经网络，输出城市道路异常事件确认信息，并触发上报流程；其中，所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断，确定是否属于道路异常事件、人异常事件以及车辆异常事件，所述城市道路异常事件确认信息包含有城市道路异常事件的类型。

在具体的例子中，所述过滤单元14进一步包括：

比较对象确认单元140，用于根据本次城市道路异常事件的定位信息，在已经上报列表选择用于对比的在先城市道路异常事件；

过滤处理单元141，用于将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较，进行定位信息比较以及图像相似度比较，以确定已经上报列表中是否存在重复的异常事件；

当比较结果为下述中至少一个时，则确定已经上报列表中存在重复的异常事件：两者位置相差在一预定的距离阈值之内，或两者的图像场景相似度大于一预定的相似阈值。

在具体的例子中，所述过滤处理单元140至少包括有图像相似度比较单元1400，其包括：

直方图比较单元1401，用于计算本次城市道路异常事件与在先城市道路异常事件的直方图，计算两个直方图的相关性，将所述相关性确定为两个事件的图像场景相似度；或

神经网络比较单元1402，用于将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络，通过所述神经网络计算，输出两个事件的图像场景相似度。

更多的细节，可以参考前述对图1至图2的描述，在此不进行详述。

如图8所示，为本发明提供的一种城市道路感知处理装置的结构示意图。在本实施例中，所述城市道路感知处理装置2设置于控制中心中，其包括：

上报信息接收单元21，用于接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息；所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息，所述图像信息为感知终端上的摄像头所拍摄的图像；

上报信息解析单元22，用于解析所述城市道路异常信息，获得其携带的图像信息、定位信息、异常类型以及时间信息；

查重处理单元23，用于根据对本次上报信息所解析出的内容，查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息，如果存在，则丢弃本次的城市道路异常信息；

上报信息下发处理单元24，用于将所述城市道路异常信息下发给所述异常类型所对应的处理终端，并写入已经上报列表；

处理结果核查单元25，用于在接收来自所述处理终端的处理结果后，在已经上报列表中删除本条城市道路异常信息对应的记录。

可以理解的是，其中查重处理单元23为可选的单元，在一些实施例中可以不用设置。

在一些具体的例子中，进一步包括：语音确认单元26，用于将所述城市道路异常信息进行语音提示，并识别人工确认结果语音，在识别的确认结果为所述城市道路异常信息真实有效时，将所述城市异常信息下发给所述异常类型所对应的处理终端。

更多的细节，可以参考前述对图3的描述，在此不进行详述。

如图9所示，示出了本发明提供的一种城市道路感知处理系统的结构示意图，一并结合图10和图11所示，在本实施例中，所述系统包括设置于多个公共交通工具上的感知终端、控制中心以及多个处理终端，其中：

所述感知终端包括中央处理单元，以及与中央处理单元相连接的多个摄像头、无线通信模块、语音交互装置以及显示器，所述中央处理单元至少包括前述图4至图7描述的城市道路异常感知处理装置1；

所述控制中心包括中央处理模块，以及与中央处理模块相连接的语音提示模块、交互模块、网络通信模块以及显示器，所述中央处理模块至少包括前述图8描述的城市道路异常感知处理装置2；

处理终端，用于接收来自所述控制中心的城市道路异常信息，并将异常事件的处理结果发送给所述控制中心，其可以是设置于各职能部门的智慧终端，如智能手机、平板电脑等。

可以理解的是，本发明实施例中的语音提示模块、交互模块、网络通信模块、显示器、摄像头以及无线通信模块等均是本领域技术人员所熟知及容易实现的，故不进行详述。更多的细节，可以参考前述对图4至图8的描述，在此不进行详述。

基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例的上述方法实施例中图1至图3所描述的城市道路异常感知处理方法。

实施本发明实施例，具有如下的有益效果：

在本发明提供的一种城市道路异常感知处理方法、装置及系统中，通过设置于公共交通工具上的感知终端，可以很方便及时地将城市道路异常事件上报给控制中心；控制中心在收到城市道路异常信息后，及时下发给各职能部门的处理终端，以提醒职能门及时处理。从而可以提高城市道路异常的上报以及处理的效率，可以降低城市的运行成本，且能及时响应各种突发事件；

同时，在上报城市道路异常信息之前通过在最新的已上报清单中确认是否存在重复的上报信息，可以避免同一城市场道路异常事件被多次重复上报，降低了重复率，从而可减少控制中心的工作量；

另外，通过设置公共交通工具的驾驶员的语音确认功能，可以进一步降低误报率，提高上报准确度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。