具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种机车乘务员的违章行为分析方法，该方法可以应用于计算机设备中；

该计算机设备可以为机车内部的任一电子设备，也可以是机车外部的任一电子设备，本实施例对此不作具体限定；

其中该计算机设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、视频矩阵、监控平台、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置。

如图1所示，该机车乘务员的违章行为分析方法可以包括以下步骤：

步骤101、获取机车乘务员在机车运行过程中的监控视频；

本实施例中，可以利用现有机车司机室视频监控采集监控视频，视频监控与该计算机设备通信，视频监控通过通信总线或网络向该计算机设备传输相应的监控视频。

本实施例中，视频监控可以位于机车乘务员的右后方的位置。

步骤102、检测监控视频的各视频帧图像中的关键区域，关键区域包括人体关键区域和驾驶室关键区域；

本实施例中，可以采用深度学习中的目标检测算法检测得到各视频帧图像中的关键区域。

可选地，人体关键区域包括但不限于机车乘务员区域、机车乘务员后背区域、人脸区域、戴口罩人脸区域、手臂区域、头区域和手区域；驾驶室关键区域包括但不限于座椅区域、侧窗区域、车门区域(分开启和闭合两种状态)、操作台区域。

步骤103、根据关键区域确定机车乘务员的违章行为，违章行为为驾驶中的禁止行为。

本申请实施例提供的技术方案，获取机车乘务员在机车运行过程中的监控视频，检测监控视频的各视频帧图像中的关键区域，根据关键区域确定机车乘务员的违章行为。采用本申请的方案，利用现有机车司机室视频监控(低质量)直接采集现场图像，不需要改造机车司机室、无需增加新的图像采集装置，智能高效分析影响行车安全的乘务员离岗行为、违规使用电子设备行为、偏头闲聊行为、以及异常开启车门行为等违章行为，减少人员审核视频工作量，提高工作效率。

应用中，为了准确地确定机车驾驶员是否具有违章行为，本申请另一实施例中，根据指定违章行为发生的时间或频率，确定机车驾驶员的违章行为。

具体地，如图2所示，步骤103可以包括以下步骤：

步骤201、根据关键区域确定机车乘务员在各视频帧图像中的驾驶行为；

驾驶行为包括指定违章行为或非指定违章行为，指定违章行为包括离岗行为、违规使用电子设备行为、偏头闲聊行为、车门异常开启行为共四类违章行为。

步骤202、判断监控视频中是否存在连续N张视频帧图像中的驾驶行为均为指定违章行为，或在连续M张视频帧图像中是否出现不连续的P张视频帧图像中的驾驶行为均为指定违章行为，若是，执行步骤203；

步骤203、确定机车乘务员的违章行为为指定违章行为。

若指定违章行为出现在连续N张视频帧图像中，或指定违章行为在连续M张视频帧图像中出现在不连续的P张视频帧图像中，即在连续M张视频帧图像中，指定违章行为出现的频率超过指定频率，则执行步骤203；否则，返回继续执行201。

其中，M、N、P均为正整数。

本实施例中，为了保证识别准确度，计算机设备需要1秒分析至少2帧视频帧图像。计算机设备在获取监控视频后，可以读取监控视频的帧率，按照帧率分配每秒的检测帧数。当监控视频的头文件受损导致无法获得监控视频的帧率时，应该考虑现场监控视频的帧率，存在多种帧率时，应该以最低的帧率作为参考，保证1秒至少处理2帧，例如，现场监控(即图像采集设备)的帧率为1秒8帧或1秒25帧时，本实施例中取计算机设备1秒分析8帧视频帧图像，即每1秒从图像采集设备所采集的视频帧图像中提取8帧视频帧图像作为该时刻的视频帧图像，因此步骤202中的N帧视频帧图像和M帧视频帧图像均指的是提取后的视频帧图像。

本实施例中，指定频率可以根据实际预先进行设置。指定频率的定义为不连续P张视频帧图像中出现某类指定违章行为的视频帧图像占连续M张视频帧图像的百分比。

本实施例中，在确定机车乘务员的具体违章行为后，还可以对出现违章行为的原因、违章行为的危害等级、发生时间等进行汇总。

本实施例中，步骤201到步骤203的执行可以是实时进行的，即视频监控采集得到监控视频中的各视频帧图像，并实时将各视频帧图像向计算机设备传输，计算机设备获取视频帧图像后，即时对视频帧图像进行机车乘务员的违章行为的分析；步骤201-步骤203的执行也可以是周期性进行，即，计算机设备获取预设周期时间内的监控视频后，才对监控视频中的各视频帧图像进行机车乘务员的违章行为的分析，本实施例对此不作具体限定。

以下具体说明每类违章行为的分析过程：

关于离岗行为，可以通过判断机车乘务员是否在指定驾驶区域，确定机车乘务员在视频帧图像中是否出现离岗行为。

具体地，如图3所示，步骤201可以包括以下步骤：

步骤301、对于任意一帧视频帧图像，识别视频帧图像中的侧窗区域、操作台区域、车门区域和机车乘务员座位区域，侧窗区域、操作台区域、车门区域和机车乘务员座位区域属于驾驶室关键区域；

步骤302、确定由侧窗区域、操作台区域、车门区域和机车乘务员座位区域构成的指定驾驶区域，指定驾驶区域为机车驾驶室内包含机车乘务员座位区域的预设区域；

步骤303、当确定机车乘务员不处于指定驾驶区域时，确定机车乘务员在视频帧图像中出现离岗行为。

请参见图4，图4为本实施例示出的驾驶室的结构示意图，其中车门或座椅靠背的右侧、侧窗下方以及操作台左侧的限定区域为本实施例中的指定驾驶区域。判断视频帧图像中机车乘务员区域的中心(或者重心，或者区域的顶点)是否位于车门或座椅靠背的右侧或操作台左侧；机车乘务员区域和侧窗区域在水平方向的投影重合满足一定长度。若满足上述条件，则判断机车乘务员位于该指定驾驶区域，否则机车乘务员不位于该指定驾驶区域时，确定机车乘务员的当前驾驶行为为离岗行为。

关于违规使用电子设备行为，当判断视频帧图像中机车乘务员是否具有违规使用电子设备行为时，如图5所示，步骤201可以包括以下步骤：

步骤501、对于任意一帧视频帧图像，判断视频帧图像中是否具有指定电子设备，若是，执行步骤502；

步骤502、判断指定电子设备是否位于机车乘务员的视野范围内，若是，执行步骤503；

步骤503、确定机车乘务员在视频帧图像中出现违规使用电子设备行为。

其中，若判断指定电子设备不在机车乘务员的视野范围内，即当视频帧图像中不具有指定电子设备或机车乘务员在视频帧图像中的视野覆盖区域与指定电子设备区域没有足够面积的交集，确定机车乘务员的驾驶行为不为指定违章行为中的违规使用电子设备行为。

其中，在判断机车乘务员在视频帧图像中的视野覆盖区域与指定电子设备区域是否有足够面积的交集时，可以获取视频帧图像中的脸区域、头部区域、手区域和手臂区域；确定由脸区域、头部区域、手区域和手臂区域构成的视野区域；判断指定电子设备是否处于视野区域；当处于视野区域，确定指定电子设备位于视野范围内，即机车乘务员在视频帧图像中的视野覆盖区域与指定电子设备有足够面积的交集。

可选地，本实施例中，指定电子设备包括手机、游戏机、ipad等设备。

关于偏头闲聊行为，当判断视频帧图像中机车乘务员是否具有偏头闲聊行为时，如图6所示，步骤201可以包括以下步骤：

步骤601、对于监控视频中的任意一张视频帧图像，确定视频帧图像中人脸区域与头部区域的面积比、以及视频帧图像中的人脸区域的宽高比，人脸区域和头部区域属于人体关键区域；

其中，从图像处理角度，按视频帧图像的水平方向确定人脸区域的宽度，按视频帧图像的竖直方向确定人脸区域的高度。

步骤602、当面积比大于面积阈值、或宽高比大于宽高比阈值时，确定机车乘务员在视频帧图像中出现偏头闲聊行为。

其中，面积阈值和宽高比阈值均可以根据驾驶室中视频监控的位置与角度信息预先设置。

关于异常开启车门行为，可以根据视频帧图像中机车的车门状态，确定机车车门是否安全关闭，具体地，如图7所示，步骤201可以包括以下步骤：

步骤701、判断监控视频中是否存在车门为开启状态的视频帧图像，若是，执行步骤701；

步骤702、确定机车乘务员在视频帧图像中出现异常开启车门行为。

本申请中，上述几个实例可以顺序执行，但不限定它们执行的先后次序，也可以各自独立执行。

基于同一构思，本申请实施例中提供了一种机车乘务员的违章行为分析装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图8所示，该装置主要包括：

获取单元801，用于获取机车乘务员在机车运行过程中的监控视频；

检测单元802，用于检测监控视频的各视频帧图像中的关键区域，关键区域包括人体关键区域和驾驶室关键区域；

确定单元803，用于根据关键区域确定机车乘务员的违章行为，违章行为为驾驶中的禁止行为。

可选地，确定单元803具体用于：

根据关键区域确定机车乘务员在各视频帧图像中的驾驶行为，驾驶行为包括指定违章行为或非指定违章行为，指定违章行为包括离岗行为、违规使用电子设备行为、偏头闲聊行为或车门异常开启行为；

判断监控视频中是否存在连续N张视频帧图像中的驾驶行为均为违章行为，或在连续M张视频帧图像中是否出现不连续的P张视频帧图像中的驾驶行为均为指定违章行为；

若是，确定机车乘务员的违章行为为指定违章行为。

可选地，确定单元803具体用于：

对于任意一帧视频帧图像，识别视频帧图像中的侧窗区域、操作台区域、车门区域和机车乘务员座位区域，侧窗区域、操作台区域、车门区域和机车乘务员座位区域属于驾驶室关键区域；

确定由侧窗区域、操作台区域、车门区域和机车乘务员座位区域构成的指定驾驶区域，指定驾驶区域为机车驾驶室内包含机车乘务员座位区域的预设区域；

当确定机车乘务员不处于指定驾驶区域时，确定机车乘务员在视频帧图像中出现离岗行为。

可选地，确定单元803具体用于：

对于任意一帧视频帧图像，判断视频帧图像中是否具有指定电子设备；

若视频帧图像中具有指定电子设备，判断指定电子设备是否位于机车乘务员的视野范围内；

若在视野范围内，确定机车乘务员在视频帧图像中出现违规使用电子设备行为。

可选地，确定单元803具体用于：

获取视频帧图像中的脸区域、头部区域、手区域和手臂区域；

确定由脸区域、头部区域、手区域和手臂区域构成的视野区域；

判断指定电子设备是否处于视野区域；

当处于视野区域，确定指定电子设备位于视野范围内。

可选地，确定单元803具体用于：

对于监控视频中的任意一张视频帧图像，确定视频帧图像中人脸区域与头部区域的面积比、以及视频帧图像中的人脸区域的宽高比，人脸区域和头部区域属于人体关键区域；

当面积比大于面积阈值、或宽高比大于宽高比阈值时，确定机车乘务员在视频帧图像中出现偏头闲聊行为。

可选地，确定单元803具体用于：

判断监控视频中是否存在车门为开启状态的视频帧图像；

若是，确定机车乘务员在视频帧图像中出现异常开启车门行为。

基于同一构思，本申请实施例中还提供了一种计算机设备，如图9所示，该计算机设备主要包括：处理器901、存储器902和通信总线903，其中，处理器901和存储器902通过通信总线903完成相互间的通信。其中，存储器902中存储有可被处理器901执行的程序，处理器901执行存储器902中存储的程序，实现如下步骤：

获取机车乘务员在机车运行过程中的监控视频；

检测监控视频的各视频帧图像中的关键区域，关键区域包括人体关键区域和驾驶室关键区域；

根据关键区域确定机车乘务员的违章行为，违章行为为驾驶中的禁止行为。

上述电子娱乐设备中提到的通信总线903可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线903可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器902可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器901的存储装置。

上述的处理器901可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的机车乘务员的违章行为分析方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。