一种基于红外和深度学习的室内客流量统计方法及系统
技术领域
本发明属于图像识别
技术领域
，具体涉及一种基于红外和深度学习的室内客流量统计方法及系统。背景技术
目前常见的客流量统计方法主要包括人工统计方法和基于图像视觉的客流量自动计数方法。人工统计主要通过景区或商场等室内场所工作人员对客流量进行手动记录，并在时间段内进行手动汇总统计，该方法优点是准确率高，但是人员工作量比较大且无法实时联网在线统计各个站点的实时进出客人数。基于图像视觉的客流量自动计数方法通过网络传输技术和图像视觉处理技术相结合实现室内人数的实时自动统计。其中图像视觉处理技术主要对进出室内空间的人头进行检测跟踪，实现客流量的自动计数，但是传统的机器学习图像处理方法的准确率受到光线影响比较大，且无法解决拥挤、带帽、背包等问题，还存在没有触发机制，容易误检或者漏检等问题。
发明内容
为解决现有技术中的不足，本发明提供一种基于红外和深度学习的室内客流量统计方法及系统，具有人体检测准确率高，漏检、误检率低等特点。
为达到上述目的，本发明所采用的技术方案是：
第一方面，提供一种室内客流量统计方法，包括：采集有行人通过门口进入室内时的第一信息；基于采集到的第一信息，采集门口处的第二信息；基于采集到的第二信息，获取通过门口的客流量数据。
进一步地，所述采集有行人通过门口进入室内时的第一信息，具体为：当有行人通过门口进入室内时，安装于进入室内的门口处的红外双射模块发射的红外信号被切断，红外双射模块获取当前有行人通过门口进入室内的第一信息。
进一步地，所述基于采集到的第一信息，采集门口处的第二信息，具体为：RGB摄像头数据采集模块在接收到有行人通过门口进入室内的第一信息后启动并对门口处进行图像采集，以采集到的门口处的图像信息作为第二信息。
进一步地，所述基于采集到的第二信息，获取通过门口的客流量数据，具体为：将采集到的门口处的第二信息，输入训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据。
进一步地，所述基于深度学习的人体检测模型的训练方法，包括：离线采集人体样本数据，分为训练样本和测试样本；基于训练样本训练构建的基于深度学习的人体检测模型，并调整模型参数；基于测试样本对收敛后的基于深度学习的人体检测模型进行测试，若测试结果不符合设定的检出率，则继续采用训练样本进行训练，直至测试结果符合设定的检出率，输出模型参数文件。
第二方面，提供一种室内客流量统计系统，包括：红外双射模块，安装于进入室内的门口处，用于采集有行人通过门口进入室内时的第一信息；RGB摄像头数据采集模块，用于基于采集到的第一信息，采集门口处的第二信息；数据处理模块，用于基于采集到的第二信息，获取通过门口的客流量数据。
进一步地，当有行人通过门口进入室内时，安装于进入室内的门口处的红外双射模块发射的红外信号被切断，红外双射模块获取当前有行人通过门口进入室内的第一信息。
进一步地，所述RGB摄像头数据采集模块在接收到红外双射模块发送的第一信息后启动，并对门口处进行图像采集，以采集到的门口处的图像信息作为第二信息。
进一步地，所述数据处理模块将采集到的门口处的第二信息，输入到训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据。
进一步地，还包括定位模块和数据传输模块，定位模块用于判断获取当前统计设备的位置以及时间信息；数据传输模块用于将通过门口的客流量数据上传至上位机。
与现有技术相比，本发明所达到的有益效果：
（1）本发明通过结合红外双射传感器采集有行人通过门口进入室内时的第一信息，并在有行人通过时启动RGB摄像头采集门口处的图像信息作为第二信息，利用训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据，解决了传统的机器学习图像处理方法的准确率受到光线影响比较大，且无法解决拥挤、带帽、背包、容易误检或者漏检等问题，具有人体检测准确率高，漏检、误检率低等特点；
（2）本发明对各种姿态人体、复杂背景的情况适用性更强；能实时将统计数据传输到监控中心，方便后台进行管控和统计；成本更低、效率更高。
附图说明
图1是本发明实施例提供的一种基于红外和深度学习的室内客流量统计系统的系统架构示意图；
图2是本发明实施例中客流量统计流程示意图；
图3是本发明实施例中客流量统计中图像检测示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1~图3所示，一种基于红外和深度学习的室内客流量统计方法，包括：采集有行人通过门口进入室内时的第一信息；基于采集到的第一信息，采集门口处的第二信息；基于采集到的第二信息，获取通过门口的客流量数据。
采集有行人通过门口进入室内时的第一信息，具体为：当有行人通过门口进入室内时，安装于进入室内的门口处的红外双射模块发射的红外信号被切断，红外双射模块获取当前有行人通过门口进入室内的第一信息。基于采集到的第一信息，采集门口处的第二信息，具体为：RGB摄像头数据采集模块在接收到有行人通过门口进入室内的第一信息后启动并对门口处进行图像采集，以采集到的门口处的图像信息作为第二信息。基于采集到的第二信息，获取通过门口的客流量数据，具体为：将采集到的门口处的第二信息，输入训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据。基于深度学习的人体检测模型的训练方法，包括：离线采集人体样本数据，分为训练样本和测试样本；基于训练样本训练构建的基于深度学习的人体检测模型，并调整模型参数；基于测试样本对收敛后的基于深度学习的人体检测模型进行测试，若测试结果不符合设定的检出率，则继续采用训练样本进行训练，直至测试结果符合设定的检出率，输出模型参数文件。
如图2所示，其中S1、S2、S3是离线训练人体检测阶段，主要是训练得到效果理想并收敛的基于深度学习的人体检测模型的参数，用于在线阶段的在线检测；S4、S5、S6、S7、S8、S9是在线实时统计和数据上传阶段。基于红外和深度学习的室内客流量统计方法，具体包括：
S1: 离线采集人体样本数据，分成训练和测试样本两部分，并转化成caffe深度学习框架需要的LMDB格式；
S2: 搭建基于深度学习的人体检测模型，基于样本数据通过caffe（Convolutional Architecture for Fast Feature Embedding，卷积神经网络框架）深度学习框架进行训练和测试，不断进行调参，在训练过程收敛时，学习得到最终的模型参数文件；
S3：对S2阶段训练得到的模型利用测试样本进行测试，若模型测试的检出率低于要求，则继续训练模型，若达到目标，则保存学习到的模型参数，以便将此模型用于在线阶段进行实际检测；
S4: 此阶段主要为搭建在人口两侧的红外传感器系统，采用红外双射模块；
S5: 此阶段主要是判定是否出现目标物体切断了红外传感器，并触发信号启动图像信号的人体检测系统，可以有效减少误检、漏检；
S6：此阶段主要是利用离线阶段学习到的模型对实时视频流进行检测，并存储检测到的人体信息；
S7：此阶段主要是对连续多帧图像中检测到的人体目标信息进行跟踪，确定多个运动物体；如图3，基于深度学习的客流量统计检测示意图，在提前限定检测区域，统计进出人数客流量；
S8：此阶段主要是对阶段S6确定的运动目标和预先设定的阈值线进行分析判断，当运动目标通过阈值线时则自动计数；
S9: 若检测到计时信号触发，则将统计最终的进出人数上传到网络后台。
本实施例通过结合红外双射传感器采集有行人通过门口进入室内时的第一信息，并在有行人通过时启动RGB摄像头采集门口处的图像信息作为第二信息，利用训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据，解决了传统的机器学习图像处理方法的准确率受到光线影响比较大，且无法解决拥挤、带帽、背包、容易误检或者漏检等问题，具有人体检测准确率高，漏检、误检率低等特点；本实施例对各种姿态人体、复杂背景的情况适用性更强；能实时将统计数据传输到监控中心，方便后台进行管控和统计；成本更低、效率更高。
实施例二：
基于实施例一所述的基于红外和深度学习的室内客流量统计方法，本实施例提供一种基于红外和深度学习的室内客流量统计系统，包括：分别与数据处理模块电连接的红外双射模块、RGB摄像头数据采集模块、定位模块和传输模块，如图1所示，红外双射模块，安装于进入室内的门口处，用于采集有行人通过门口进入室内时的第一信息；RGB摄像头数据采集模块，用于基于采集到的第一信息，采集门口处的第二信息；数据处理模块（CPU处理模块），用于基于采集到的第二信息，获取通过门口的客流量数据；定位模块采用GPS定位，用于判断获取当前统计设备的位置以及时间信息；数据传输模块通过4G网络进行数据传输，用于将通过门口的客流量数据上传至上位机。
当有行人通过门口进入室内时，安装于进入室内的门口处的红外双射模块发射的红外信号被切断，红外双射模块获取当前有行人通过门口进入室内的第一信息。RGB摄像头数据采集模块在接收到红外双射模块发送的第一信息后启动，并对门口处进行图像采集，以采集到的门口处的图像信息作为第二信息。所述数据处理模块将采集到的门口处的第二信息，输入到训练好的基于深度学习的人体检测模型，获取通过门口的客流量数据。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
