具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例提供了一种车辆驾驶员不良驾驶行为检测方法，参见图1，该方法包括：实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。其中，第一分类器是用于检测手机和烟的分类器；所述概率阈值为30％；第二角度为yaw，表示驾驶员头部左右运动的角度；第二角度阈值可以为50度；第三角度为pitch，表示驾驶员头部上下运动的角度；第三角度阈值可以为30度。

具体地，对驾驶员面部姿态建模，计算驾驶员的面部朝向的角度信息(pitch，yaw，roll)，其中，pitch为第三角度，表示驾驶员头部上下运动的角度；yaw为第二角度，表示驾驶员头部左右运动的角度；roll为第一角度，表示驾驶员头部在平面内旋转的角度，如果yaw大于第二角度阈值(即50度)，则在左顾右盼行为的报警队列中计数加1，如果pitch大于第三角度阈值(即30度)，则在抬头低头报警队列中计数加1，对下一帧图像进行判断。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。

其中，提议网络为采用一个浅层的卷积神经网络快速输出大量候选人脸窗口，并且计算每个人脸框的边界回归向量，对候选人脸窗口进行校准，使用非极大值抑制方法合并高度重叠的人脸框。精炼网络为采用一个复杂的卷积神经网络对提议网络输出的人脸框进行判别，删除非人脸窗口，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框。输出卷积神经网络作为输出网络，采用一个更加强大的卷积神经网络，对精炼网络的输出人脸框进行判别，并计算人脸框的边界回归向量，使用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。

具体地，得到驾驶员的面部区域后，将面部区域同时向左和向右扩大半个人脸宽度，作为感兴趣区域。通过在训练样本中标注手机和烟，然后基于深度学习技术，使用卷积神经网络对手机和烟的特征进行建模，训练手机和烟的检测器。模型训练的损失函数包括手机和烟的类别可信度损失和手机和烟的位置定位损失。使用训练好的驾驶员抽烟打手机模型在定义的感兴趣区域中检测手机和烟。如果在图像中检测到手机和烟，并且烟和手机的可信度大于手工设定好的概率阈值，则在此驾驶员的抽烟或者打手机异常行为的报警队列中计数加1。如果同时检测到烟和手机，并且烟和手机的可信度大于手工设定好的概率阈值，则在此驾驶员的抽烟和打手机异常行为的报警队列中同时计数加1。如果检测到烟和手机，则不对司机的其他异常行为进行判别，直接对下一帧图像进行烟和手机的检测。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。

具体地，为了确保侧脸影响打哈欠和闭眼行为的准确性，在驾驶员没有存在抽烟或者打手机行为的情况下，通过对驾驶员面部姿态建模，计算驾驶员的面部朝向的角度信息，本发明使用三个欧拉角(pitch，yaw，roll)来表示驾驶员的面部姿态信息。在另一实施例中，欧拉角的计算方法包括：首先定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型，然后采用检测出驾驶员图片中的六个对应的面部特征点，从而计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量，最后将旋转向量转换为欧拉角。通过设置上下方向的角度阈值和左右方向的角度阈值来判别驾驶员是否存在注意力分散行为。如果驾驶员的面部欧拉角yaw大于阈值，则驾驶员存在左顾右盼报警队列计数加1，如果驾驶员面部欧拉角pitch大于，则驾驶员抬头低头报警队列计数加1。如果检测到驾驶员存在左顾右盼或者抬头低头，则不对驾驶员的其他异常行为进行判别，直接对下一帧图像进行烟和手机的检测。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。

具体地，通过对驾驶员的眼睛和嘴部区域分别进行提取。基于深度学习技术，使用卷积神经网络提取眼部和嘴部区域特征，分别训练驾驶员眼睛状态分类器和嘴部状态分类器。使用眼睛状态分类器来判别驾驶员是否存在闭眼行为，使用嘴部状态分类器来判别驾驶员是否存在打哈欠行为。如果驾驶员存在闭眼行为，则在驾驶员闭眼报警队列中计数加1，如果存在打哈欠行为，则驾驶员打哈欠报警队列计数加1。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。在另一实施例中，抽烟驾驶行为的统计时长设定为2秒，打手机驾驶行为的统计时长设定为5秒，注意力分散驾驶行为的统计时长设定为5秒，闭眼驾驶行为的统计时长设定为2秒，打哈欠驾驶行为的统计时长设定为2.5秒。

具体地，由于驾驶员抽烟和打手机行为最突出，所以首先对驾驶员抽烟和打手机的行为进行检测。考虑到摄像头位置的固定，驾驶员存在左顾右盼和抬头低头行为会在成像中丢失部分眼睛和嘴巴，从而会影响驾驶员眼睛和嘴巴位置的定位，所以当驾驶员没有存在抽烟和打手机时，对驾驶员是否存在左顾右盼和抬头低头行为进行判别。当驾驶员没有存在左顾右盼和抬头低头行为时，对驾驶员闭眼和打哈欠行为进行识别。分别对驾驶员抽烟行为设置时长阈值tsmoke为1.5秒，打手机行为设置时长阈值tcall为4秒，注意力分散行为设置时长阈值tdistraction为4秒，闭眼行为设置时长阈值tcloseeye为1.5秒，打哈欠行为设置时长阈值topenmouth为2秒。当驾驶员检测出存在抽烟、打手机、注意力分散、闭眼、打哈欠这五类异常行为，并且持续时长超过对应的时长阈值，则触发对应的报警，在终端进行语音提示，从而确保驾驶员安全驾驶，减少交通事故的发生。

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。

本发明实施例提供的车辆驾驶员不良驾驶行为检测方法，通过采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中进行相应检测，并根据检测结果在报警队列中进行相应计数，可以对多种不良驾驶行为进行检测，具有客观全面、实时性好、鲁棒性强、准确度高、易移植的特点，辅助驾驶员安全驾驶，减少交通事故的发生。

本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种车辆驾驶员不良驾驶行为检测装置，该装置用于执行上述方法实施例中的车辆驾驶员不良驾驶行为检测方法。参见图2，该装置包括：第一主模块，用于实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；第二主模块，用于获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；第三主模块，用于对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；第四主模块，用于获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。

本发明实施例提供的车辆驾驶员不良驾驶行为检测装置，采用图2中的若干模块，通过采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中进行相应检测，并根据检测结果在报警队列中进行相应计数，可以对多种不良驾驶行为进行检测，具有客观全面、实时性好、鲁棒性强、准确度高、易移植的特点，辅助驾驶员安全驾驶，减少交通事故的发生。

需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第一子模块，用于实现所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第二子模块，用于实现所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第三子模块，用于实现所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第四子模块，用于实现在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第五子模块，用于实现所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第六子模块，用于实现所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。

本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。

此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。