一种婴儿睡眠监测系统以及方法和设备
技术领域
本发明涉及婴儿睡眠检测领域。更具体地说,本发明涉及一种婴儿睡眠监测系统以及方法和设备。
背景技术
目前,婴儿监视器主要是通过无线网络将婴儿声音与视频信号传输到监护人的监视终端或智能手机APP上。现有婴儿监测系统的技术方案中主要是通过声纹识别实现预警,系统监视预警功能上仅局限于通过声音采集模块侦测到婴儿哭声或异常声音后,才对监控者的推送对应的消息通知。这种技术方案的主要缺点在于,仅依靠声音判断识别无法及时全面地预警婴儿的异常睡眠行为,如常见的翻身行为,脸部被遮挡等异常睡眠行为。容易受到环境噪音影响,从而常出现误判警报较多,使用体验较差。
同时,无法全面直观地展示婴儿的睡眠质量以及睡眠状态,更不能为用户提供针对婴儿睡眠建议及改善计划。
发明内容
为了实现根据本发明的这些目的和其它优点,提供了一种婴儿睡眠监测系统,包括:
至少一图像采集模块,其用于实时采集婴儿的睡眠图像信息;
一中央信息处理模块,用于依据所述婴儿的睡眠图像信息,分析判断出婴儿的睡眠行为信息。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,所述图像采集模块包括拍摄设备、夜间红外线模块中的任意一种或多种,所述夜间红外线模块、所述拍摄设备均与所述中央信息处理模块连接。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,所述中央信息处理模块包括一姿态分析单元、一信息存储单元以及一行为匹配单元,
所述姿态分析单元依据婴儿的睡眠图像信息对婴儿的肢体动作进行分析,获得婴儿睡眠姿态的特征参数,
所述信息存储单元内预存多种婴儿的睡眠行为对应的特征参数,
所述行为匹配单元根据所述婴儿睡眠姿态的特征参数和预存的多种婴儿的睡眠行为对应的特征参数,获得匹配度最高的睡眠行为信息。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,所述中央信息处理模块包括一图像预处理单元、一姿态分析单元、一信息存储单元以及一行为匹配单元,
所述图像预处理单元用于对所述婴儿的睡眠图像信息进行预处理,
所述姿态分析单元依据经预处理后的婴儿的睡眠图像信息对婴儿的肢体动作进行分析,获得婴儿睡眠姿态的特征参数,
所述信息存储单元内预存多种婴儿的睡眠行为对应的特征参数,
所述行为匹配单元根据所述婴儿睡眠姿态的特征参数和预存的多种婴儿的睡眠行为对应的特征参数,获得匹配度最高的睡眠行为信息。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,所述图像预处理模块用于对所述婴儿的睡眠图像信息进行预处理,包括:
所述图像预处理模块用于对所述婴儿的睡眠图像信息进行降噪和增强处理。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统进一步包括
一输出模块,用于将所述婴儿的睡眠行为信息向用户端传递。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统进一步包括一展示模块,所述展示模块包括一储存单元和一报告单元,其用于储存所述婴儿的睡眠行为信息,
所述报告单元根据所述婴儿的睡眠行为信息绘制相应的睡眠曲线,且基于设定周期生成睡眠质量报告。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,所述展示模块进一步包括一判断单元和一警报单元,
所述判断单元根据所述婴儿的睡眠行为信息和所述信息存储单元内预存的睡眠行为对应的特征参数,判断婴儿的睡眠行为是否属于所述信息存储单元内预存的睡眠行为中的异常行为,若是,则所述警报单元发出警报通知。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统中,婴儿的睡眠行为包括翻身、哭泣、攀爬栏杆、醒来、入睡以及脸部遮挡。
本发明的另一优选实施方案提供一种婴儿睡眠监测方法,包括以下步骤:
S1、婴儿进入设定睡眠侦测区域,实时连续多帧采集婴儿的睡眠图像信息;
S2、对采集的睡眠图像信息进行预处理;
S3、基于经预处理后的婴儿的睡眠图像信息对婴儿的肢体动作进行姿态识别分析,实时获得婴儿睡眠姿态的特征参数;
S4、基于识别后的婴儿睡眠姿态的特征参数,与预设的睡眠行为特征参数进行匹配,获得匹配度最高的睡眠行为信息;
S5、判断是否属于异常睡眠行为,如果判断是异常睡眠行为则执行S6,否则直接执行S7;
S6、发出警报通知;
S7、基于特定时间内的睡眠行为信息获得睡眠曲线,且基于设定周期生成睡眠质量报告。
本发明的另一优选实施方案提供一种婴儿睡眠监测设备,包括壳体以及设置在壳体内的婴儿睡眠监测系统,
在婴儿单独睡觉的时候,可以通过本发明提供的婴儿睡眠监测系统实现对婴儿睡眠的监控,一旦发现异常睡眠行为,则及时发送警报给监护人,比如一旦婴儿出现脸部遮挡、攀爬栏杆等行为,立马发送相关警报给监护人,监护人则可以立马赶到,避免事故的发生,而且还可以监控,识别姿态之后,获得婴儿的睡眠曲线,生成睡眠质量报告,可以根据睡眠曲线和睡眠质量报告,了解婴儿的睡眠情况,方便安排生活。
此外,本发明还提供了一种实施上述睡眠监测方法的婴儿睡眠监测设备。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明一实施方案中的婴儿睡眠监测系统的框架示意图,
图2为本发明另一实施方案中的婴儿睡眠监测系统的框架示意图,
图3为本发明一实施方案中的婴儿睡眠监测方法的框架示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变形。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
如图1-3所示,本发明的一种婴儿睡眠监测系统,包括:
至少一图像采集模块,其用于实时采集婴儿的睡眠图像信息;
一中央信息处理模块,用于依据所述婴儿的睡眠图像信息,分析判断出婴儿的睡眠行为信息。
所述中央信息处理模块包括一姿态分析单元、一信息存储单元以及一行为匹配单元。
所述姿态分析单元依据婴儿的睡眠图像信息对婴儿的肢体动作进行分析,获得婴儿睡眠姿态的特征参数,
所述信息存储单元内预存多种婴儿的睡眠行为对应的特征参数,
所述行为匹配单元根据所述婴儿睡眠姿态的特征参数和预存的多种婴儿的睡眠行为对应的特征参数,获得匹配度最高的睡眠行为信息。
需要说明的是,婴儿进入设定的睡眠侦测区域之后,在进行图像采集,所述图像采集模块包括拍摄设备、夜间红外线模块中的任意一种或多种,也可以是一种兼具日间拍摄功能和夜间拍摄功能的拍摄设备,白天时或者夜晚有灯光时,直接连续拍摄多张婴儿的睡眠姿态,夜间,则采用红外线夜间拍摄功能,连续拍摄多张婴儿的睡眠姿态,所述夜间红外线模块、所述拍摄设备均与所述中央信息处理模块连接。
所述图像采集模块可以为一个或者多个,如果是一个,则该图像采集模块直接位于婴儿睡觉位置的上方,位置较高,且倾斜设置,这样拍摄到的范围更广,可以实现无死角拍摄,采集区域能够覆盖婴儿睡眠活动范围,如果是多个,则多个图像采集模板则多角度多高度分布在婴儿睡觉位置附近。
所述睡眠图像信息包括睡眠行为以及该睡眠行为的维持时间、频次。
婴儿的睡眠行为包括且不限于翻身、哭泣、攀爬栏杆、醒来、入睡以及脸部遮挡。
所述姿态识别模块,采用的基于Mask R-CNN的神经网络模型训练针对婴儿进行姿态识别,得到婴儿睡眠行为过程中的人体关键特征点信息,使用ResNet-101网络提取图像特征点,使用ROI Align进一步筛选出图片中姿态特征点的关键区域,最终获得图片中婴儿的姿态特征点。
所述信息存储单元内预存多种婴儿的睡眠行为对应的特征参数,比如当婴儿处于入睡状态时,其脸部不被遮挡,且其眼睛处于紧闭状态,而且其长时间保持不动的状态,监控分析其脸部是否有遮挡、眼睛是否处于紧闭状态,并检测其活动状态即可,如果是醒来状态,则婴儿会动弹,眼睛会睁开,如果是哭泣状态,则其嘴巴大张。
具体的,构建信息存储单元中的睡眠行为数据库时,提取日常婴儿各个睡眠动作图片集,并把各个动作图片氛围训练集与测试集。同样使用Mask R-CNN网络获取图片的姿态特征点,对婴儿各个特征关节点进行标注,获得预设行为的对应关键标注特征构建睡眠行为数据库。
所述行为匹配单元在匹配时,可能婴儿的睡眠行为特征只与所述信息存储单元预存的睡眠行为中的一个重合,那么可以毫无疑问的确定婴儿的睡眠行为,也可能婴儿的睡眠行为可能与之前所述信息存储单元预存的睡眠行为中的多个行为的特征类似,但是会根据特征重合度,挑选出重合度最高的睡眠行为,并确定婴儿处于该睡眠行为中。
所诉行为匹配单元,采用机器学习中的最近邻分类器(KNN)起将姿态识别模块中提取的姿态关键点与预设的姿态模版数据库重的姿态特征关键点比较,计算当前特征点与预设的睡眠姿势数据库中预设多个睡眠行为的特征点之间的距离,找到距离最小的的k个相邻动作点,对k个睡眠行为类别进行比较,获得匹配度最高的睡眠行为结果。
另一实施方案中,所述中央信息处理模块包括一图像预处理单元,一姿态分析单元、一信息存储单元以及一行为匹配单元,
所述图像预处理单元用于对所述婴儿的睡眠图像信息进行预处理,
所述姿态分析单元依据经预处理后的婴儿的睡眠图像信息对婴儿的肢体动作进行分析,获得婴儿睡眠姿态的特征参数,
所述信息存储单元内预存多种婴儿的睡眠行为对应的特征参数,
所述行为匹配单元根据所述婴儿睡眠姿态的特征参数和预存的多种婴儿的睡眠行为对应的特征参数,获得匹配度最高的睡眠行为信息。
需要说明的是,当图像采集模块采集到的睡眠图像信息较为模糊或者存在其它问题时,需要对其进行预处理,降噪和增强处理,以提高图片质量,便于后期对其进行姿态识别。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统进一步包括
一输出模块,用于将所述婴儿的睡眠行为信息向用户端传递。所述传输可以是无线传输,也可以是有线传输,具体根据实际情况确定,在此不做赘述。所述输出模块是基于http协议将匹配得到的婴儿睡眠行为输出。
用户端可以是电脑或者手机等移动终端,方便监护人观了解婴儿的睡眠情况。
根据本发明的一优选实施方案,所述的婴儿睡眠监测系统进一步包括一展示模块,所述展示模块包括一储存单元和一报告单元,其用于储存所述婴儿的睡眠行为信息,
所述报告单元根据所述婴儿的睡眠行为信息绘制相应的睡眠曲线,且基于设定周期生成睡眠质量报告。
睡眠曲线主要记录每个时间段相应的睡眠行为和该睡眠行为持续的时间。
为了使得婴儿睡觉时出现异常行为可以及时告知监护人,避免意外发生,所述展示模块进一步包括一判断单元和一警报单元,
所述判断单元根据所述婴儿的睡眠行为信息和所述信息存储单元内预存的睡眠行为对应的特征参数,判断婴儿的睡眠行为是否属于所述信息存储单元内预存的睡眠行为中的异常行为,若是,则所述警报单元发出警报通知。
如果所述判断单元根据所述信息存储单元内预存的睡眠行为对应的特征参数,无法确定婴儿相应的睡眠行为,证明此事婴儿的动作已经不是常规睡眠行为,属于情况外事件,那么所述警报单元也会发送警报通知,提醒监护人过来查看,以免出现意外事故。
警报单元可以是喇叭、蜂鸣器、灯光等装置,具体可以根据实际情况设置。
本发明的另一优选实施方案提供一种婴儿睡眠监测方法,包括以下步骤:
S1、婴儿进入设定睡眠侦测区域,实时连续多帧采集婴儿的睡眠图像信息;
S2、对采集的睡眠图像信息进行预处理;
S3、基于经预处理后的婴儿的睡眠图像信息对婴儿的肢体动作进行姿态识别分析,实时获得婴儿睡眠姿态的特征参数;
S4、基于识别后的婴儿睡眠姿态的特征参数,与预设的睡眠行为特征参数进行匹配,获得匹配度最高的睡眠行为信息;
S5、判断是否属于异常睡眠行为,如果判断是异常睡眠行为则执行S6,否则直接执行S7;
S6、发出警报通知;
S7、基于特定时间内的睡眠行为信息获得睡眠曲线,且基于设定周期生成睡眠质量报告。
本发明的另一优选实施方案提供一种婴儿睡眠监测设备,包括壳体以及设置在壳体内的婴儿睡眠监测系统,也就是上述各种模块、单元都设置在所述壳体内,但是图像采集模块的拍照端则需要位于所述壳体外部,方便进行拍照采集图像。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。