一种跌倒检测系统及其基于深度图像的跌倒检测方法
技术领域
本发明涉及检测方法，特别涉及一种跌倒检测系统及其基于深度图像的跌倒检测方法。
背景技术
近年来，我国人口老龄化问题日益严峻，老年人的健康问题和日常生活安全问题受到了社会的广泛关注和重视。随着年龄的增长，发生意外跌倒的风险对于老年人来说会逐年提高，跌倒后产生的社会成本和经济成本也更高，因此跌倒检测技术是十分必要的。
目前主要有三类跌倒检测系统：基于穿戴式设备的、基于环境布设的以及基于视觉技术的人体跌倒检测系统。基于穿戴式设备的跌倒检测系统主要是通过可穿戴式的传感器设备，来检测人体运动的速度、加速度等参数信息，根据事先设定的阈值来判断是否发生跌倒。由于其随身携带，因此监控范围不会受到限制。但电源供应则成了一个问题，而且穿戴式设备需要考虑舒适性。
基于环境布设的跌倒检测系统一般是通过压力感应传感器，如铺设压感地砖等来检测跌倒时产生的冲击。其优点不需要携带额外的设备，对用户的活动影响小；缺点是监测区域具有局限性，只有在铺设了传感器的房间才能进行监测，而且一般需要设置多个传感器，成本较高。
基于视觉技术的跌倒检测系统是通过相机来监测人体活动，检测是否发生跌倒。但是RGB相机可能会存在隐私泄露的风险，如卫生间、卧室等隐私场所。很多老年人并不希望在隐私场所安装摄像头，但是这些场景却是最容易发生跌倒等意外情况的，特别是卫生间的地面可能会比较湿滑。因此使用深度相机来进行监测就可合理地解决这一矛盾，因为其只能获得被监测人的轮廓特征，并不能从深度图像中得到彩色图像信息(双目深度相机除外，因为其本质仍然是两个RGB相机)，从而保护人的隐私。
发明内容
本发明要解决的技术问题是提供一种跌倒检测系统及其基于深度图像的跌倒检测方法，利用深度图像进行运动检测、行为识别与跌倒检测，具有隐私保护的独特优势，能够在较注重隐私的室内进行全天候监护，且不受光照干扰。
为了解决上述技术问题，本发明的技术方案为：
一种跌倒检测系统，包括：
一图像读取装置，所述图像读取装置读取并预处理深度图像；和
一坐标处理单元，所述坐标处理单元接收到所述图像读取装置的深度图像信息，计算处理坐标信息，并根据坐标信息计算各个关节点的速度和加速度，通过判断上述特征信息，判断是否处于跌倒状态。
优选地，所述图像读取装置包括
一过滤模块，对深度图像信息进行中值过滤和去除噪声；
一切割模块，根据自适应深度阈值对深度图像进行切割粗略去除背景区域，进一步去除噪声干扰，将背景置为黑色，从而得到一个前景区域；
一滤波模块，所述滤波模块利用图形学滤波去除前景区域的细小空洞；和
一区域设置模块，根据运动检测算法寻找前景区域中运动的人体区域，并将人体区域作为新的前景区域。
优选地，所述坐标处理单元包括
一随机森林分类器，所述随机森林分类器对上述区域设置模块中得到的人体区域的像素点进行分类，判断像素点属于人体某个关节部位；
一筛选模块，所述筛选模块筛选出各关节部位像素点；
一计算模块，获取各关节点像素点，并计算得到关节点像素坐标；
一转换模块，根据所述图像读取装置的深度图相机内参和关节点像素坐标，转换得到关节点的三维空间坐标，并记录该图像帧对应的时间戳；
一记录模块，所述记录模块记录到上述各个关节点的三维空间坐标；
一速度计算模块，根据上述的关节点的坐标差和时间差，从而计算出关节点运动的速度以及总体的平均速度；
一加速度计算模块，根据计算得到的帧间速度计算速度差，从而计算加速度；和
一SVM分类器，结合各关节点坐标的速度和加速度信息，使用SVM分类器判断是否发生跌倒。
进一步地，本发明还提供了一种基于深度图像运动检测与行为识别的跌倒检测方法，包括以下步骤：
(a)读取深度图像，对深度图像预处理，得到仅包含人体区域的深度图像；
(b)根据深度信息计算人体关节点坐标，返回记录坐标信息和时间戳；
(c)根据(b)得到的关节点坐标和时间戳，计算关节点运动速度和加速度；
(d)根据(b)和(c)得到的关节点坐标、速度和加速度，判断是否发生跌倒事件。
优选地，在步骤(a)中，所述深度图像预处理的具体步骤如下：
(a1)对深度图像进行中值滤波去除噪声；
(a2)根据自适应深度阈值对深度图像进行切割粗略去除背景区域，进一步去除噪声干扰，将背景置为黑色；
(a3)利用图形学滤波去除前景区域的细小空洞；
(a4)根据运动检测算法寻找前景区域中运动的人体区域，并将人体区域作为新的前景区域。
优选地，在步骤(b)中，所述人体关节点坐标计算的具体步骤如下：
(b1)利用随机森林分类器，对步骤(a4)得到的人体区域的像素点进行分类，判断像素点属于人体某个关节部位；
(b2)筛选步骤(b1)中预测概率大于设定阈值的点，得到疏密不同的各关节部位像素点；
(b3)使用Mean Shift算法对属于同一部位的像素点进行聚类，得到关节点像素坐标；
(b4)根据所述图像读取装置与步骤(b3)得到的像素坐标，转换得到关节点的三维空间坐标，并记录该图像帧对应的时间戳。
优选地，在步骤(c)中，所述关节点运动信息计算的具体步骤如下：
(c1)选取由步骤(b4)得到的人体颈部、脊柱底部、左脚踝3个骨骼点坐标，维护一个队列，记录最新10帧关节点三维空间坐标与时间戳；
(c2)根据步骤(c1)中记录的信息计算坐标差、时间差，从而计算出最新10帧间的关节点运动的速度以及10帧总体的平均速度；
(c3)根据步骤(c2)计算得到的帧间速度计算速度差，从而计算加速度；
优选地，在步骤(d)中，具体的判断步骤如下：
(d1)根据步骤(b)得到的关节点坐标位置作为高度特征，步骤(c)计算得到关节点速度特征与加速度特征；
(d2)将最新连续10帧关节点的三个特征融合作为分类依据，使用SVM分类器进行分类，判断是否发生跌倒事件。
附图说明
图1为本发明所述跌倒检测系统的结构框图；
图2为本发明所述跌倒检测方法的基本流程图；
图3为本发明所述跌倒检测方法的深度图像预处理的具体步骤的基本流程图；
图4为本发明所述跌倒检测方法的人体关节点坐标计算的具体步骤的基本流程图；
图5为本发明所述跌倒检测方法的判断是否跌倒的具体步骤的基本流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明中提供了一种跌倒检测系统，包括一图像读取装置10，所述图像读取装置10读取当前的深度图像，并对所述深度图像进行预处理，预处理的内容包括截取当前包含人体区域的深度图像。
深度图像等于普通的RGB三通道彩色图像+Depth Map，在3D计算机图形中，DepthMap(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
在家用检测装置中，一般采用摄像头，但是RGB摄像头存在隐私泄露的风险，并且工作时比较依赖环境光线，在光线昏暗或者夜晚时难以正常工作。本发明中的所述图像读取装置10读取到当前的深度图像，并对其图像进行处理，对光线和时间的限制条件较小，因而更适合不同的环境和条件。
所述跌倒检测系统还包括一坐标处理单元20，所述坐标处理单元10接收到所述图像读取装置10的深度图像，对当前的深度图像进行坐标处理计算，计算得到人体关节点的坐标，并且返回至坐标信息和时间戳点。进一步地，根据计算得到的关节点坐标和时间戳点，计算当前关节点的速度和加速度。
可以理解的是，当人体正常行走和跌倒时，各个关节点产生的速度和加速度是不一样的，因此，可以通过关节点坐标、速度和加速度，判断是否发生跌倒事件。
在上述过程中，所述深度图像的预处理的具体操作如下所示：对图像进行中值滤波、深度切割、图形学滤波、运动检测和寻找人体区域。
具体地，所述图像读取装置10包括一过滤模块11，对深度图像信息进行中值过滤和去除噪声；
所述图像读取装置10还包括一切割模块12，所述切割模块12：根据自适应深度阈值对深度图像进行切割粗略去除背景区域，进一步去除噪声干扰，将背景置为黑色，从而得到一个前景区域；
所述图像读取装置10还包括一滤波模块13，所述滤波模块13利用图形学滤波去除前景区域的细小空洞；
所述图像读取装置10还包括一区域设置模块14，所述区域设置模块14根据运动检测算法寻找前景区域中运动的人体区域，并将人体区域作为新的前景区域。
通过上述操作，得到人体所在的所述深度图像。
在上述过程中，所述深度图像的坐标处理的具体操作如下所示：计算人体关节点坐标和计算关节点运动信息。
具体地，所述坐标处理单元20包括一随机森林分类器21，所述随机森林分类器21对上述区域设置模块14中得到的人体区域的像素点进行分类，判断像素点属于人体某个关节部位；
需要注意的是，随机森林分类器：指的是利用多棵决策树树对样本进行训练并预测的一种分类器，随机森林将多棵决策树合并在一起，准确度相较于单棵决策树有较大提升。
所述坐标处理单元20还包括一筛选模块22，所述筛选模块22筛选出各关节部位像素点，具体筛选方式是通过预测概率大于设定阈值的点，因此筛选出疏密不同的各关节部位像素点；
所述坐标处理单元20还包括一计算模块23，所述计算模块23获取各关节点像素点，并计算得到关节点像素坐标，具体计算方式是使用Mean Shift算法对属于同一部位的像素点进行聚类，得到关节点像素坐标；
值得一提的是，Mean Shift算法：又称为均值漂移算法，广泛应用于聚类，图像平滑，分割和跟踪中。Mean Shift算法一般为一个迭代过程，先计算感兴趣区域内的偏移均值，移动区域中心到计算出的质心处，然后以此处作为新的起点，继续移动，直到满足最终的条件而结束。在迭代过程中，不断向密度更大的地方偏移，直到移动到这类像素点密度最高的中心位置而停止。
所述坐标处理单元20还包括一转换模块24，根据所述图像读取装置10的深度图相机内参和关节点像素坐标，转换得到关节点的三维空间坐标，并记录该图像帧对应的时间戳。
更具体地，所述坐标处理单元20包括一记录模块25，所述记录模块记录到上述各个关节点的三维空间坐标，例如人体颈部、脊柱底部、左脚踝等骨骼点的坐标，维护一个队列，记录关节点三维空间坐标与时间戳；记录的帧数以最新10帧为例。
所述坐标处理单元20包括一速度计算模块26，根据上述的关节点的坐标差和时间差，从而计算出最新10帧间的关节点运动的速度以及最新10帧总体的平均速度；
所述坐标处理单元20还包括一加速度计算模块27，根据计算得到的帧间速度计算速度差，从而计算加速度；
所述坐标处理单元20还包括一SVM分类器28，结合各关节点坐标的速度和加速度信息，使用SVM分类器判断是否发生跌倒，具体的判断过程如下所示：根据得到的关节点坐标位置作为高度特征，计算得到关节点速度特征与加速度特征；将连续10帧关节点的三个特征融合作为分类依据，使用SVM分类器28进行分类，判断是否发生跌倒事件。
需要指出的是，所述SVM分类器28，又叫支持向量机，是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，其基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。
如图2-5所示，根据上述的具体操作方式，本发明进一步地提供了一种基于深度图像运动检测与行为识别的跌倒检测方法，包括以下步骤：
(a)读取深度图像，对深度图像预处理，得到仅包含人体区域的深度图像；
(b)根据深度信息计算人体关节点坐标，返回记录坐标信息和时间戳；
(c)根据(b)得到的关节点坐标和时间戳，计算关节点运动速度和加速度；
(d)根据(b)和(c)得到的关节点坐标、速度和加速度，判断是否发生跌倒事件。
具体地，在步骤(a)中，所述深度图像预处理的具体步骤如下：
(a1)对深度图像进行中值滤波去除噪声；
(a2)根据自适应深度阈值对深度图像进行切割粗略去除背景区域，进一步去除噪声干扰，将背景置为黑色；
(a3)利用图形学滤波去除前景区域的细小空洞；
(a4)根据运动检测算法寻找前景区域中运动的人体区域，并将人体区域作为新的前景区域。
具体地，在步骤(b)中，所述人体关节点坐标计算的具体步骤如下：
(b1)利用随机森林分类器，对步骤(a4)得到的人体区域的像素点进行分类，判断像素点属于人体某个关节部位；
(b2)筛选步骤(b1)中预测概率大于设定阈值的点，得到疏密不同的各关节部位像素点；
(b3)使用Mean Shift算法对属于同一部位的像素点进行聚类，得到关节点像素坐标；
(b4)根据深度图相机内参与S33中得到的像素坐标，转换得到关节点的三维空间坐标，并记录该图像帧对应的时间戳。
具体地，在步骤(c)中，所述关节点运动信息计算的具体步骤如下：
(c1)选取由步骤(b4)得到的人体颈部、脊柱底部、左脚踝3个骨骼点坐标，维护一个队列，记录最新10帧关节点三维空间坐标与时间戳；
(c2)根据步骤(c1)中记录的信息计算坐标差、时间差，从而计算出最新10帧间的关节点运动的速度以及10帧总体的平均速度；
(c3)根据步骤(c2)计算得到的帧间速度计算速度差，从而计算加速度；
具体地，在步骤(d)中，具体的判断步骤如下：
(d1)根据步骤(b)得到的关节点坐标位置作为高度特征，步骤(c)计算得到关节点速度特征与加速度特征；
(d2)将最新连续10帧关节点的三个特征融合作为分类依据，使用SVM分类器进行分类，判断是否发生跌倒事件。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
