具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

心肺复苏(Cardio Pulmonary Resuscitation,CPR)是急救手术中的一类,主要用于心脏骤停患者的急救。心肺复苏可以在患者不能自然呼吸或血液循环系统出现障碍时，通过一系列按压、人工呼吸等手段保持患者脑部功能正常。增强现实(AR)主要利用AR眼镜进行虚拟屏幕投影，合成虚拟场景叠加在现实世界的物体上以增强用户体验，使用户在现实世界中进行交互但现实中又存在局部的虚拟场景。用户对叠加在现实环境下的虚拟场景无法辨别真伪。AR眼镜不封闭人体感官，因此用户戴上AR眼镜依然可以在现实世界产生虚拟交互。AR眼镜hololens自带独立的系统，其本身既是传感器系统又是一个显示器。该系统通过跟踪眼球视线轨迹或声音识别判断用户的状态和用户发出的交互指令。

由此，本发明提出一种基于AR增强现实技术的心肺复苏训练系统，如图1所示，该系统包括用户端1、管理员端2和服务端3；其中，用户端1用于实现心肺复苏操作的训练，包括培训模块11、考核模块12和身份认证模块13；培训模块11包括现场处理培训子模块111、胸外按压培训子模块112、畅通气道培训子模块113、人工呼吸培训子模块114、事后处置培训子模块115；现场处理培训子模块111用于实现对心脏复苏操作进行现场处理的训练；胸外按压培训子模块112用于实现胸外按压操作的训练；畅通气道培训子模块113用于实现清除病人口鼻异物并使气道畅通操作的训练；人工呼吸培训子模块114用于实现人工呼吸操作的训练；事后处置培训子模块115用于实现对病人进行安置或安抚操作的训练；考核模块12用于考核检验用户对心肺复苏流程学习的效果，包括查看子模块121、视频回放子模块122和成绩导出子模块123；考核环节中的每一个操作与培训中的相同，但是数据流程主要是在考核的每一个环节动作是否标准，并且没有系统提示。在现场处理过程中，会出现人物呼救的语音输入，同时用户的操作也会输出语音；在胸外按压环节，用户在按压传感器上按压产生的按压幅度、频次和位置等物理信息将被输出并进行比对，其他动作同理。考核中，每一环节都会有规定时间范围以保证心肺复苏动作的流畅性，数据库中也会将虚拟图像数据对接进来，主要是场景模拟，在考试中会形成各个环节的分数，最后进行加总获得最后的成绩信息。在本地保存操作的视频信息，可进行事后查看，但当用户下机后，本地不保存该视频。身份认证模块13用于实现用户预约和用户验证。

管理员端2用于管理人员对系统的常规管理；管理员端包括权限管理模块21、用户管理模块22、资源管理模块23和指标管理模块24；其中，权限管理模块21用于设置和删除权限；用户管理模块22用于增加、查询和删除用户；资源管理模块23用于导入、导出和备份资源，资源主要是指用户身份信息、用户成绩信息、用户按压操作数据、用户培训考核视频、错误记录截图、虚拟现实场景资源和培训音视频资源等；指标管理模块24用于设计和赋值指标，指标是指为本系统实现自动评分功能而设计的一个考核评分体系，可以确定考核体系的一级指标和二级指标，即将胸外按压、开放气道和人工呼吸的大环节分步骤拆解，形成详细的系统考核要点，分解步骤进行考核评分后，再加入间隔时间、按压中断时间操作步骤和按压通气比要素进行整合评分。

服务端3包括数据采集模块31、虚拟场景生成模块32、AR眼镜显示模块33、头部跟踪模块34；数据采集模块31用于采集心脏复苏传感器数据，包括按压传感器数据、气流传感器数据、声学传感器采集的语音数据和光学传感器采集的手势数据；虚拟场景生成模块32用于负责心肺复苏训练的各类动态场景建模、管理及绘制；AR眼镜显示模块33用于显示虚拟现实融合场景；头部跟踪模块34用于跟踪用户视线变化并将虚拟场景投射在现实环境中。

进一步地，现场处理培训子模块111中对心脏复苏操作进行现场处理的具体步骤包括：确认现场环境安全；通过轻拍病人双肩或者在病人耳边大声呼唤判断倒地病人反应；指令旁人帮忙拨打120，寻找AED除颤仪；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压培训子模块和人工呼吸培训子模块，进行五组组合循环抢救；五组组合循环结束后立即复检病人；若复检病人结束后病人没有复苏，继续五组胸外按压与人工呼吸的组合循环抢救；在通过胸外按压培训子模块进行胸外按压的同时，若AED除颤仪到位，立即启动AED除颤仪除颤；且在执行五组循环的过程中，每隔5分钟内进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪自动给出提示。

具体实施例一

系统总体架构采用C/S的搭建方式，基于系统需求分析，系统的总体架构如图2所示，可分为表现层、应用层、服务层和数据层和基础层。另外，单独建立系统管理模块，满足管理人员对系统的常规管理。

基础层主要是各类软硬件、网络技术设施等。其中，本发明系统中增强现实可穿戴设备主要指Hololens眼镜和数据手套。Hololens眼镜本身就是一个传感器系统，如图3所示，可以捕捉声音、手势动作等，基础层中传感器主要指按压传感器和气流传感器等。如图4所示，心肺复苏传感器起到帮助用户完成交互并进行用户训练数据采集、通过信号调理器进行培训数据的标准化转化；系统的数据接口由采购的传感器设备提供方提供接口，并将训练数据传入系统进行评分；

数据层中用户信息库主要用来验证用户预约信息，并保存用户基本信息；模型标准数据库保存标准手术操作的一系列语音、动作与虚拟现实视频图像；手术训练数据库是用来保存用户在手术训练与考核过程中产生的并通过相应的数据接口传输进来的外部数据，可以与标准库进行比对，从而向用户界面发送相关的反馈；成绩库用来生成和保存成绩，用户的基本信息，标准库与操作库的对比结果都会传输进来并进行用户反馈。

服务层主要起到业务支撑的作用。为了保证应用层系统正常运行，服务层需调用各类设备为语音、动作等各类信息的采集打好基础。另外，还需要调动各类模块进行数据的收集，通过数据接口保存至相关数据库。

应用层就是将各类应用集于一身，包括开始训练之前的登录系统，训练指导的培训系统，效果检验的考核系统。本虚拟现实系统采用的是AR增强现实技术。如图5所示，系统结构由虚拟场景生成单元、AR眼镜显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责心肺复苏培训的各类动态场景建模、管理、绘制和其它外设的管理；透射式眼镜显示器负责显示虚拟现实融合场景，但其本身也是一个传感系统，其自带的跟踪设备跟踪用户视线变化，将虚拟场景投射在现实环境中；心肺复苏传感器作为用户与虚拟现实系统的交互工具，产生物理操作信号的输入输出。

用户进行心肺复苏训练时，首先AR眼镜显示器采集真实场景的视频和图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；心肺复苏传感器采集训练数据，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。

表现层给用户提供简洁的虚拟操作界面。用户戴上眼镜后，会产生虚实结合的系统场景并通过AR眼镜投射虚拟显示屏，可以在上面选择不同的系统功能，也可以在虚拟屏幕上看到各类传回的指导与反馈信息。

结合功能模块和业务流程的分析，将系统分为身份认证、培训、考核和系统管理四个子系统。每一个子系统(模块)包含不同功能模块(子模块)，其中，系统管理子系统的功能主要包括用户管理、资源管理和指标管理三大类。系统具有自动评分计时数据比对等功能，这些功能会用在各个子系统中。心肺复苏训练系统的功能设计如图6所示。

身份认证子系统(即身份认证模块)：主要完成用户预约和用户验证的功能，用户前期可进入网络端或系统终端进行预约，填写预约信息，可使用身份证等进行刷卡验证。

培训子系统(即培训模块)：根据功能分析模块的划分，心肺复苏的虚拟界面提供应急环境模拟、人体模拟、设备模拟以及操作数据浏览的功能。用户在虚拟场景中进行操作的同时，也会出现虚拟屏幕投射至虚拟场景中的合适位置，显示训练期间的各类物理数据或者功能选项。培训一次的时间是40分钟，在培训过程中也会记录间隔时间、操作时间，作为检验用户操作是否标准，节奏是否合理的依据。用户在培训过程中有语音输出代替老师进行培训指导，同时有一些环节需要进行语音输入，如在心肺复苏过程中，现场处理环节，需要进行现场呼救，用户语音输入内容系统进行记录。语音输入后，系统对语音进行识别，并与标准语音内容进行比对，查看用户是否完成并且达到语音呼救要求。虚拟场景中有标准动作路径帮助用户快速准确掌握心肺复苏的要点，同时用户的各类要求姿势也会输入系统，此功能是系统进行动作姿势比对的基础。心肺复苏环节中有一些环节提出对姿势的要求，如进行胸外按压时，要求肘关节不能弯曲，系统将用户输入的姿势与标准库进行重叠比对，可以判断用户动作姿势的规范性。心肺复苏中的胸外按压环节，对按压的频率、深度等进行了严格规定，将标准数据输出，投放至虚拟屏幕，并将用户按压数据进行系统输入，为系统进行按压数据的比对做好准备。系统对用户培训过程中通过按压板产生的按压数据输入标准库进行比对，此功能可以发现用户在按压环节的动作失误。当系统进行语音比对、动作比对、按压数据比对后，对用户的错误动作或不规范动作提出语音警报，同时投射至虚拟屏幕，指明错误类型，让用户可以实时掌握自己的培训动态。当用户在培训时，某一环节出现动作不规范或者动作错误，在错误警报后，用户可以选择错误步骤重演，跳回至上一功能，进行该环节的第二次培训。当用户在培训过程中遇到突发状况时，可以暂停培训或者终止此次培训并退出培训。

考核子系统(即考核模块)：选择考核后即可进入心肺复苏的考核环节，进行学习效果检验。系统计时功能可记录操作节奏，操作时长等数据。系统将用户在考核过程中的语音进行输入记录。语音输入后，系统对语音进行识别，并与标准语音内容进行比对，检测是否达到得分要求。用户在心肺复苏系统中的操作动作和操作姿势会被系统捕捉并存入系统。用户心肺复苏考核中输入的姿势与标准库进行重叠比对，可以对用户动作姿势的规范性进行评分。将用户按压数据输入系统。系统将用户输入的按压数据与标准库进行比对，并给出分数。通过语音识别用户口述内容、用户动作姿势捕获进行环境确认、意识确认、现场呼救、摆正体位、呼吸判断的要点是否得分，并进行该环节评分。根据现场处理环节的得分点，对用户的现场处理一系列操作打分。得分点包括考核用户是否检查颈动脉搏、是否解开患者衣物及腰带、按压部位和操作姿势是否标准以及按压的幅度与频次是否达标。考核模块中，畅通气道部分的评分主要是动作是否完成，姿势是否标准，并给出此部分的分数。根据人工呼吸环节的得分点，对用户在考核环节中人工呼吸的一系列操作评分。根据后续处置环节的操作顺序，对用户在虚拟环境中的后续处置操作打分。根据用户每个环节的间隔时间综合评价用户的动作连贯性与流畅性并进行打分。用户在考核中出现动作不规范或操作不当的失误，系统将错误动作进行截图以备查验。用户在系统中将考试做完后，系统将每一个环节的分数汇总，整理出最终百分制成绩，用户可以选择成绩查看。当用户对某一个步骤的考核分数有异议时，可以选择错误截图查看，找出相关扣分原因。除了截图可以查看外，整个考核操作过程也进行了视频记录，可以在考核之后选择回放观察。用户考核结束后，可以将自己的成绩导出。

系统管理子系统(即管理员端)：为管理员能够实现权限管理、用户管理和资源管理的增删查改的功能。具体包括权限管理模块中的设置权限和删除权限功能；用户管理模块中的用户增加、用户查询和用户删除功能；资源管理模块中的资源导入、资源导出和资源备份功能。在指标管理中，包含指标设计和指标赋值。

数据库主要包含用户信息库，心肺复苏培训资源库和标准动作库。其中，用户信息库主要是用户信息库和管理员信息库。心肺复苏培训资源库主要是指在Unity3D平台中设计的全套场景资源，包括视频、音频和模型等。标准动作库分为传感器、标准操作表，操作错误表和评分规则表。用户在操作过程中利用操作传感器产生操作数据，该操作数据可以与标准操作表、操作错误表和评分规则表进行匹配，得到用户成绩。

具体实施例二

利用已开发完成的全流程量化心肺复苏培训系统的软件和硬件基础条件，利用AR增强现实技术进行技术融合，开发出具备虚拟场景和真实场景交互功能的升级版全流程量化心肺复苏培训系统。

1.应用环境需求：

1)硬件需求：保持原有全流程量化心肺复苏培训系统硬件不做改变的情况下，增加AR眼镜硬件，该AR眼镜硬件与原有系统硬件可以进行实时数据通讯，并且在AR眼镜端构建出与真实场景应用相交互的虚拟场景。

2)软件需求：构建数据。

3)网络环境：原有系统基于独立路由器构建的局域网络，再增加AR眼镜设备后如何构建新的网络环境是一个需要探讨的问题。

2.实际应用需求：

在学员操作过程中，需要实时反馈的内容有：确认现场环境安全(火灾、公路、有毒、地震现场)；发现病人倒地，判断病人反应(轻拍病人双肩、在左右耳边大声呼唤病人)；指令旁人帮忙拨打120，寻找AED；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压；胸外按压的同时，若除颤仪到位，应立即启动AED除颤仪除颤；除颤完成后，应立即启动五组胸外按压和人工呼吸(30：2模式)相结合的循环抢救；五组循环结束后，应立即复检病人；若复检病人结束后病人没有复苏，应继续五组30：2的循环按压与人工呼吸；在执行五组循环的过程中，每隔5分钟内将进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪将自动给与提示“病人室颤，停止按压，准备除颤”

3.AR交互场景需求(包括动画制作画面和动作实时传输画面)：

在学员操作过程中，需要AR实时反馈的流程及内容有：

1)确认现场环境安全(火灾、公路、有毒、地震现场)；室内房间(办公桌椅、地毯等)，站立虚拟人附衣着；

创建模型：室内房间(办公桌椅、地毯等)，站立男性(病人)，拉链外套，牛仔裤，鞋子；

2)发现病人倒地，判断病人反应(轻拍病人双肩、在左右耳边大声呼唤病人)：虚拟人体突然倒地头部向右方位(穿拉链外套)；急救员跑到虚拟人右侧，跪姿(等待拍双肩信号)轻拍虚拟人双肩(同步真实操作者动作)；左右耳两边呼唤病人，声音+文字“你怎么啦？快醒醒”(左右各两次动画停止)；示意图如图7所示；

创建模型：男性(急救员)，短袖衬衫，休闲裤，鞋子；

3)指令旁人帮忙拨打120，寻找AED；急救员向周围人群呼喊“快拨打120”、“拿除颤仪”(一次动画)；示意图如图8所示；

创建模型：人群(一男一女)，附衣着；

4)触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；急救员立即俯身，左耳贴近病人的口鼻处，同时眼睛看向病人胸廓；急救员左手食指和中指并拢触摸病人颈动脉(同步)，并大声读数“1001-1006”，示意图如图9所示；读数期间，颈部局部解剖画面凸显出来，两条颈动脉闪烁(皮肤、动脉、心脏)(直到读数结束)，示意图如图10所示；

创建模型：头部至胸腔部位皮肤，心脏，两条颈动脉；

5)若病人颈动脉搏动消失，呼吸停止，除颤仪到位，应立即启动AED除颤仪除颤；急救员拉开病人拉链，暴露皮肤，除颤仪启动(按钮闪动)+电极片2个(贴片位置闪动，贴合后闪动取消)+除颤信号(除颤按键闪动，按下按键后闪动取消)+虚拟手按键发生除颤动作+身体颤动抖一下(一次结束)语音+文字提示：“远离病人”；

6)除颤完成后，应立即启动五组胸外按压和人工呼吸(30：2模式)相结合的循环抢救；以按压姿势启动胸腔按压，持续动作直到真实操作员操作继续同步，示意图如图11所示；收到按压数据后，画面推进保留急救员的上臂下端和病人腹腔及以上部位，如图12、13所示；28次按压后语音提示“准备人工呼吸”；30次±2按压之后，开启人工呼吸；

创建模型：头部至胸腔部位皮肤，心脏及冠脉，两条颈动脉，两条颈静脉，颈部与心脏连接处动静脉，胸骨，脑仁；

7)五组循环结束后，应立即复检病人，并重复触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；

8)病人复苏成功，人文关怀。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。