具体实施方式

图1为根据本发明实施方式的基于图像识别进行数据映射的方法100 的流程图。方法100从步骤101处开始。

在步骤101，利用多个图像获取设备分别获取目标对象的动态图像数 据，并分别将每个图像获取设备所获取的动态图像数据转换为数据文件， 从而得到与目标对象相关联的多个数据文件。

所述利用多个图像获取设备分别获取目标对象的动态图像数据包括： 预先将所述多个图像获取设备分别放置在不同的位置，使得多个图像获取 设备能够在不同的位置分别获取所述目标对象的动态图像数据。

利用多个图像获取设备分别获取目标对象的动态图像数据包括：所述 多个图像获取设备分别在不同的位置并且从不同的角度获取所述目标对象 的动态图像数据。优选地，所述多个图像获取设备中的每个图像获取设备 是可移动的。所述数据文件为视频文件。

此外，为了使得每个图像获取设备能够准确地采集图像数据或动态图 像数据，通过下面的公式来确定每个图像获取设备的世界坐标系的坐标和 图像坐标：

其中，Zc为光心到像平面距离；u，v为像素点的坐标系坐标；dx，dy 为像素对应的物理长度；u₀，v₀为图像中心的像素坐标；f为镜头焦距；R， T为像平面在世界坐标系下旋转和平移矩阵；X_w，Y_w，Z_w为物体在世界 坐标系的坐标；K，M分别为图像获取设备的内参矩阵和外参矩阵。此外， 还包括，对每个图像获取设备的内参矩阵K和外参矩阵M进行标定。

图3为根据本发明实施方式的获取特征点的示意图。如图3所示，举 例来说，本发明同时利用两个固定/可移动的摄像机采集患者实时训练图 像。例如两个固定/可移动的摄像机包括摄像头1和摄像头2。其中，摄像 头1和摄像头2分别获取图像1和图像2。随后，借助姿态识别网络分别 对两幅图像进行人体关键点的识别，得到两幅同一时刻的二维人体特征点。 例如，二维如图特征点1和二维人体特征点2。根据每个图像获取设备(例 如摄像机或摄像头)的世界坐标系的坐标和图像坐标对二维如图特征点1 和二维人体特征点2标定内外参数，并且随后，获取三维特征点示意图， 并最后提取待康复者(人或目标对象)的特征点。

具体实例参见图4和图5。图4为根据本发明另一实施方式的获取特 征点的示意图。其中图4中为摄像头1得到二维人体特征点。图5为根据 本发明实施方式的获得的二维人体特征点的示意图。其中图5中为摄像头 2得到二维人体特征点。由于人是有体温的，所以通过红外热成像判断特 征点是否在人体上。如果特征点不在人体上的话，则认为异常图像，不进 行后续计算。

在步骤102，对每个数据文件中的特征点进行图像识别，从而为每个 数据文件获得多个特征点，基于所获得的多个特征点为每个数据文件进行 特征点标注。

对每个数据文件中的特征点进行图像识别，从而为每个数据文件获得 多个特征点包括：确定每个数据文件中的目标对象和辅助对象；基于姿态 识别网络对目标对象和辅助对象进行图像识别，确定与目标对象和辅助对 象相关联的多个特征点，从而为每个数据文件获得多个特征点。

每个图像获取设备还具有红外热成像功能；此外，还包括，通过红外 热成像功能确定多个特征点中每个特征点是否属于目标对象和/或辅助对 象、保护目标对象的隐私数据以及对目标对象的体征参数进行识别和融合。

在步骤103，将每个数据文件中所标注的多个特征点划分为第一类型 的特征点和第二类型的特征点，将多个数据文件各自的第一类型的特征点 进行相同特征点的合并，从而将多个数据文件融合为与目标对象相关联的 目标文件。

所述第一类型的特征点是与目标对象相关联的特征点，并且将多个第 一类型的特征点中不满足预设规则的特征点删除。所述第二类型的特征点 是与辅助对象相关联的特征点，并且所述第二类型的特征点用于对第一类 型的特征点进行校正。

将多个数据文件各自的第一类型的特征点进行相同特征点的合并包 括：基于时间一致性和特征点属性将多个数据文件各自的第一类型的特征 点进行相同特征点的合并。

将多个数据文件各自的第一类型的特征点进行相同特征点的合并，从 而将多个数据文件融合为与目标对象相关联的目标文件包括：确定多个数 据文件各自的第一类型的特征点中的相同特征点；以相同特征点作为重合 的公共特征点，将多个数据文件各自的第一类型的特征点进行合并；

基于经过合并的第一类型的特征点将多个数据文件融合为与目标对象 相关联的目标文件。

在步骤104，对目标文件中的多个特征点进行归一化处理，以获取多 个通用特征点，并基于至少一个通用特征点在目标文件中的变化角度和/ 或移动数据确定目标对象的运动属性。

图6为根据本发明实施方式的特征点的三维坐标示意图。如图6所示

在对目标文件中的多个特征点进行归一化处理之前还包括：根据以下 公式为目标文件中的每个特征点确定三维坐标：

其中，Z_c1和Z_c2为光心到像平面距离；u₁，v₁，u₂，v₂为像素点的坐标 系坐标；K₁和M₁为第一图像获取设备的内参矩阵和外参矩阵；K₂和M₂为第二图像获取设备的内参矩阵和外参矩阵；X_w，Y_w，Z_w为特征点的三维 坐标。

所述对目标文件中的多个特征点进行归一化处理，以获取多个通用特 征点包括：

基于多个特征点中的至少三个特征点计算节点角度特征：

其中，ja_t(j1，j2，j3)为角度特征；j1，j2，j3为特征点，P_t(j1，j2) 表示包括特征点j1和j2的向量；P_t(j2，j3)表示包括特征点j2和j3的向 量；

其中

P_t(j1，j2)＝(p_t(j1，x)-p_t(j2，x))+(p_t(j1，y)-p_t(j2，y)) +(p_t(j1，z)-p_t(j2，z))

其中pt代表节点坐标；

对相对轨迹进行归一化处理，包括：确定两个特征点之间的相对距离：

其中nrt_t(b，s)是两个特征点之间的相对距离；b和s为特征点；rt_t(b，s) 是第t帧时特征点b和s的相对轨迹，t为帧索引；rt₁(b，s)是视频第一帧 的特征点相对轨迹；

其中：

其中pt代表节点坐标；b，s和c为特征点；

对速度进行归一化处理，包括：

其中，nsp_t(j)为特征点j在时间0-t内的归一化速度；其中为 0～t时间区间的平均速度，为0～t时间区间内的最大速度；

其中sp_t(j)为特征点移动速度，计算公式如下：

sp_t(j)＝F*(rt_t(b，j)-rt_(t-1)(b，j))，ift＞1.

＝0otherwise

其中rt_t(b，j)为时间帧t处特征点b和j相对轨迹；rt_t-1(b，j)为时 间帧t-1处特征点b和j相对轨迹；F是采样率；

对加速度进行归一化处理，包括：用0～t时刻的平均加加速度除以最 大加加速度

其中，njk_t(j)为t帧时特征点j的归一化的加加速度；其中为 0～t时间区间的平均加加速度，为0～t时间区间内的最大加加速度； jk_t(j)为特征点j处的加加速度；

其中：

jk_t(j)＝F*(ac_t(b，j)-ac_t-1(b，j))，ift＞1.

＝0otherwise

其中ac_t为时间t的加速度：

ac_t(j)＝F*(sp_t(j)-sp_(t-1)(j))，ift＞1.

＝0otherwise

所述基于时间一致性和特征点属性将多个数据文件各自的第一类型的 特征点进行相同特征点的合并包括：在多个数据文件中，按照时间一致性 的帧同步方式，以相同特征点为归并点的方式，将每个数据文件各自的第 一类型的特征点进行归并。

在步骤105，根据预先定义的数据映射规则将目标对象的运行属性映 射为预定格式的数据文件。所述基于至少一个通用特征点在目标文件中的 变化角度和/或移动数据确定目标对象的运动属性包括：基于通用特征点的 位置，从所述多个通用特征点中选择与属性识别相关联的至少一个通用特 征点；基于与属性识别相关联的至少一个通用特征点在目标文件中的变化 角度和/或移动数据确定目标对象的运动属性。

所述变化角度用于表征至少一个通用特征点的动作完成程度。所述移 动数据用于表征至少一个通用特征点的动作流畅度。在利用多个图像获取 设备分别获取目标对象的动态图像数据之前还包括，预先定义用于将运行 属性映射为预定格式的数据文件的数据映射规则；所述数据映射规则包括 多个映射项，每个映射项包括<运动属性、动作结果>。

举例来说，实例流程可以包括如下步骤：

步骤一，通过双目视觉和先验知识提取待康复者姿势特征点。

1、同时利用两个固定的摄像机采集患者实时训练图像，借助姿态识别 网络分别对两幅图像进行人体关键点的识别，得到两幅同一时刻的二维人 体特征点。

2、人是有体温的，所以通过红外热成像判断特征点是否在人体上。如 果特征点不在人体的话，认为异常图像，不进行后续计算。

3、得到人体特征点的三维坐标需要三个步骤，1摄像机标定，2特征 点匹配，3立体重建。

3.1、摄像机的标定：

对于每台相机，其在世界坐标系下坐标和图像坐标可由下面公式表示。

式中，Zc为光心到像平面距离；f为镜头焦距；u，v为像素坐标系坐 标；R，T为像平面在世界坐标系下旋转和平移矩阵；dx，dy为像素对应 物理长度；Xw，Yw，Zw为物体在世界坐标系坐标；u0，v0为图像中心的像 素坐标；K，M分别为相机内参矩阵和外参矩阵。

为了由图像信息最终获得准确的三维位置信息，需要对相机内外矩阵 K，M进行标定。两相机拍摄多张不同姿态的标准黑白标定棋盘，应用张正 友相机标定法可以获得以上这些参数。

3.2、特征点匹配

上一步得到了两图像上特征点，可直接使用其作为特征点，相对于常 用的算法更加准确稳定。

3.3、立体重建

重建方法选用最小二乘法求解。

公式中K1M1，K2M2两摄像机内外参数矩阵；u1，v1，u2，v2像素点 坐标；剩余Zc1，Zc2，Xw，Yw，Zw 5个未知参数。6个方程求解5个未 知数，可采用最小二乘法求得最优解，(Xw，Yw，Zw)即为三维点坐标。 对每个关键点进行三维重建，即可得到人体特征点的三维坐标。

4、先验知识包含两方面，一方面待康复者，教练，物体所在相对位置 是固定的，所以可以把教练，物体的特征点删除。另一个是人体特征点必 须满足人体的结构特征，如果不满足，认为是异常图像，不进行后续计算。

步骤2，人体特征点转为通用特征。

目的：直接用人体特征点预测待康复患者的活动是不准确的，因为每 个人的身高，四肢长度都不同。所以要归一化特征，去除人个体差异，转 为通用特征。

步骤：1归一化特征：

关节角度特征：关节角度是需要3个特征点计算，公式如下：

j1,j2,j3代表特征点，Pt(j1，j2)表示两个关节的向量，公式如下：

P_t(j1，j2)＝(p_t(j1，x)-p_t(j2，x))+(p_t(j1，y)-p_t(j2，y)) +(p_t(j1，z)-p_t(j2，z))

其中pt代表某一个关节点坐标。

1.1归一化相对轨迹：两个特征点之间的相对距离

其中rt(b，s)是相对轨迹，公式如下：

其中pt代表某一个关节点坐标。

1.2归一化速度：用0～t时刻的平均速度除以最大速度

其中sp为速度，公式如下：

sp_t(j)＝F*(rt_t(b，j)-rt_(t-1)(b，j))，ift＞1.

＝0otherwise

rt为1.2中的轨迹，速度就是当前帧与上一帧的差，F是采样率，这 里用30。

1.3归一化加加速度：用0～t时刻的平均加加速度除以最大加加速度

jk为加加速度，公式如下：

jk_t(j)＝F*(ac_t(b，j)-ac_t-1(b，j))，ift＞1.

＝0otherwise

ac为加速度，公式如下

ac_t(j)＝F*(sp_t(j)-sp_(t-1)(j))，ift＞1.

＝0otherwise

步骤3，通用特征转为量表描述特征

通过不同量表的描述，我们把这些描述抽象成两类，一类是动作完成 度，一类是动作的流畅性。

1、动作完成度

1.1、程度

分为(不能，部分，完全)三种程度，我们用关节角度特征来计算三 种状态，如果和标准视频误差大于80％，认为不能，误差10％～80％认为部分， 小于10％认为完全。

1.2、具体动作描述

比如膝关节能从微伸位屈曲，但不超过90°，在髋关节伸展位不能屈 膝，这些具体动作描述也是需要关节角度特征来计算。

2、动作的流畅性

包含无停顿完成，反射亢进，震颤。这些主观的描述需要把归一化特 征组合来表示。

2.1、无停顿完成

无停顿完成＝归一化速度*0.7+归一化加加速度*0.3

2.2、反射亢进

反射亢进＝归一化速度*0.3+归一化相对轨迹*0.7

2.3、震颤

震颤＝归一化加加速度*0.8+归一化相对轨迹*0.2

图2为根据本发明另一实施方式的基于图像识别进行数据映射的方法 200的流程图。方法200从步骤201处开始。

在步骤201，利用图像获取设备获取目标对象的多个静态图像。在步 骤202，对每个静态图像进行图像识别，以获取每个静态图像中的多个特 征点。在步骤203，基于多个特征点计算每个静态图像中目标对象的参数 值，从而获得目标对象的多个参数值。在步骤204，基于多个参数值确定 目标对象的属性值。在步骤205，根据预先定义的数据映射规则将目标对 象的属性值映射为预定格式的数据文件。举例来说，本发明可以根据后背 图片测量角度。根据测量，可以计算出Cobb角(是脊柱侧弯通常衡量的 标准角)。本申请通过获取两张静态图片来确定脊柱侧弯。

第一步：基于已有数据样本库，训练pix2pix增强的GAN网络，实现 通过RGB数据自动学习生成X光片数据。(目前，每月采集大概100～300 例，并且已经进行过预处理，诸如图像裁剪，对比度调整、旋转增强等)

第二步：通过在X光片上标记，进行监督学习，训练LabelMarker标 记网络，自动监测上一步骤中的弯曲最大角度点。

第三步：连线，计算Cobb角。本发明还可以根据正面弯腰图片测量 角度。测量垂直线的角度，该角度用于测量侧面的凸起程度(因为人体的 脊柱是三维空间的双S结构)。由相似三角形可以得到两个角度是一致的， 即通过测算水平倾斜角可以直接获得垂直的倾斜角，也就是FK，flank prominence角度。具体地，首先获取静态图像，然后继续背景去除，对去 除了背景的图像进行二值化处理，随后，进行Hough变换，最后计算斜率 从而得到FK角度。

图7为根据本发明实施方式的基于图像识别进行数据映射的系统700 的结构示意图。系统700包括：获取装置701、识别装置702、融合装置 703、处理装置704、映射装置705、计算装置706以及初始化装置707。

获取装置701，用于利用多个图像获取设备分别获取目标对象的动态 图像数据，并分别将每个图像获取设备所获取的动态图像数据转换为数据 文件，从而得到与目标对象相关联的多个数据文件。所述多个图像获取设 备分别在不同的位置并且从不同的角度获取所述目标对象的动态图像数 据。所述多个图像获取设备中的每个图像获取设备是可移动的。所述数据 文件为视频文件。

识别装置702，用于对每个数据文件中的特征点进行图像识别，从而 为每个数据文件获得多个特征点，基于所获得的多个特征点为每个数据文 件进行特征点标注。识别装置702具体用于：确定每个数据文件中的目标 对象和辅助对象；基于姿态识别网络对目标对象和辅助对象进行图像识别， 确定与目标对象和辅助对象相关联的多个特征点，从而为每个数据文件获 得多个特征点。

融合装置703，用于将每个数据文件中所标注的多个特征点划分为第 一类型的特征点和第二类型的特征点，将多个数据文件各自的第一类型的 特征点进行相同特征点的合并，从而将多个数据文件融合为与目标对象相 关联的目标文件。所述第一类型的特征点是与目标对象相关联的特征点， 并且将多个第一类型的特征点中不满足预设规则的特征点删除。所述第二 类型的特征点是与辅助对象相关联的特征点，并且所述第二类型的特征点 用于对第一类型的特征点进行校正。

融合装置703具体用于：基于时间一致性和特征点属性将多个数据文 件各自的第一类型的特征点进行相同特征点的合并。融合装置703具体用 于：确定多个数据文件各自的第一类型的特征点中的相同特征点；以相同 特征点作为重合的公共特征点，将多个数据文件各自的第一类型的特征点 进行合并；基于经过合并的第一类型的特征点将多个数据文件融合为与目 标对象相关联的目标文件。

处理装置704，用于对目标文件中的多个特征点进行归一化处理，以 获取多个通用特征点，并基于至少一个通用特征点在目标文件中的变化角 度和/或移动数据确定目标对象的运动属性。

映射装置705，用于根据预先定义的数据映射规则将目标对象的运行 属性映射为预定格式的数据文件。处理装置704具体用于：

基于多个特征点中的至少三个特征点计算节点角度特征：

其中，ja_t(j1，j2，j3)为角度特征；j1，j2，j3为特征点，P_t(j1，j2) 表示包括特征点j1和j2的向量；P_t(j2，j3)表示包括特征点j2和j3的向 量；

其中

P_t(j1，j2)＝(p_t(j1,x)-p_t(j2，x))+(p_t(j1，y)-p_t(j2，y)) +(p_t(j1，z)-p_t(j2，z))

其中pt代表节点坐标；

对相对轨迹进行归一化处理，包括：确定两个特征点之间的相对距离：

其中nrt_t(b,s)是两个特征点之间的相对距离；b和s为特征点；rt_t(b,s) 是第t帧时特征点b和s的相对轨迹，t为帧索引；rt₁(b,s)是视频第一帧 的特征点相对轨迹；

其中：

其中pt代表节点坐标；b，s和c为特征点；

对速度进行归一化处理，包括：

其中，nsp_t(j)为特征点j在时间0-t内的归一化速度；其中为 0～t时间区间的平均速度，为0～t时间区间内的最大速度；

其中sp_t(j)为特征点移动速度，计算公式如下：

sp_t(j)＝F*(rt_t(b，j)-rt_(t-1)(b，j))，ift＞1.

＝0otherwise

其中rt_t(b，j)为时间帧t处特征点b和j相对轨迹；rt_t-1(b，j)为时 间帧t-1处特征点b和j相对轨迹；F是采样率；

对加速度进行归一化处理，包括：用0～t时刻的平均加加速度除以最 大加加速度

其中，njk_t(j)为t帧时特征点j的归一化的加加速度；其中为 0～t时间区间的平均加加速度，为0～t时间区间内的最大加加速度； jk_t(j)为特征点j处的加加速度；

其中：

jk_t(j)＝F*(ac_t(b，j)-ac_t-1(b，j))，ift＞1.

＝0otherwise

其中ac_t为时间t的加速度：

ac_t(j)＝F*(sp_t(j)-sp_(t-1)(j))，ift＞1.

＝0otherwise

处理装置704具体用于：在多个数据文件中，按照时间一致性的帧同 步方式，以相同特征点为归并点的方式，将每个数据文件各自的第一类型 的特征点进行归并。处理装置704具体用于：基于通用特征点的位置，从 所述多个通用特征点中选择与属性识别相关联的至少一个通用特征点；基 于与属性识别相关联的至少一个通用特征点在目标文件中的变化角度和/ 或移动数据确定目标对象的运动属性。所述变化角度用于表征至少一个通用特征点的动作完成程度。所述移动数据用于表征至少一个通用特征点的 动作流畅度。

计算装置706，用于通过下面的公式来确定每个图像获取设备的世界 坐标系的坐标和图像坐标：

其中，Zc为光心到像平面距离；u，v为像素点的坐标系坐标；dx，dy 为像素对应的物理长度；u₀，v₀为图像中心的像素坐标；f为镜头焦距；R， T为像平面在世界坐标系下旋转和平移矩阵；X_w，Y_w，Z_w为物体在世界 坐标系的坐标；K，M分别为图像获取设备的内参矩阵和外参矩阵。

对每个图像获取设备的内参矩阵K和外参矩阵M进行标定。

计算装置706，用于根据以下公式为目标文件中的每个特征点确定三 维坐标：

其中，Z_c1和Z_c2为光心到像平面距离；u₁，v₁，u₂，v₂为像素点的坐标 系坐标；K₁和M₁为第一图像获取设备的内参矩阵和外参矩阵；K₂和M₂为第二图像获取设备的内参矩阵和外参矩阵；X_w，Y_w，Z_w为特征点的三维 坐标。

初始化装置707，用于预先将所述多个图像获取设备分别放置在不同 的位置，使得多个图像获取设备能够在不同的位置分别获取所述目标对象 的动态图像数据。每个图像获取设备还具有红外热成像功能；所述初始化 装置706用于通过热红外成像功能确定多个特征点中每个特征点是否属于 目标对象和/或辅助对象、保护目标对象的隐私数据以及对目标对象的体征 参数进行识别和融合。

初始化装置707，用于预先定义用于将运行属性映射为预定格式的数 据文件的数据映射规则；所述数据映射规则包括多个映射项，每个映射项 包括<运动属性、动作结果>。

图8为根据本发明另一实施方式的基于图像识别进行数据映射的系统 800的结构示意图。系统800包括：

获取装置801，用于利用图像获取设备获取目标对象的多个静态图像；

识别装置802，用于对每个静态图像进行图像识别，以获取每个静态 图像中的多个特征点；

计算装置803，用于基于多个特征点计算每个静态图像中目标对象的 参数值，从而获得目标对象的多个参数值；

确定装置804，用于基于多个参数值确定目标对象的属性值；以及

映射装置805，用于根据预先定义的数据映射规则将目标对象的属性 值映射为预定格式的数据文件。