一种基于三目视觉数据的个体步态识别方法
技术领域
本发明涉及模式识别
技术领域
，更具体地，涉及一种基于三目视觉数据的个体步态识别方法。背景技术
尽管目前涌现出了许多步态识别算法，但是这些工作大多依赖某一特定观测视角，只收集分析了单一观测视角下的步态特性，故往往在穿衣不同、场地背景、提包与否、穿鞋种类不一，步速不一的情况下识别率不高。单一观测视角下收集到的步态特性相对有限，无法全面深入地刻画步行过程中的内在信息，从而无法构建一个鲁棒性强、抗干扰能力强的步态识别系统。
公开日为2020年10月23日，公开号为CN111814624A的中国专利公开了一种视频中行人步态识别训练方法、步态识别方法及存储装置，该行人步态识别训练方法包括：检测出视频中的行人图片并提取行人轮廓图；将行人轮廓图输入神经卷积网络中，依次采用空间注意力机制和帧注意力机制对行人轮廓图进行处理，获得特征图；对特征图在帧维度上进行分块处理，并计算每一分块特征图的三元组损失；优化三元组损失直至收敛得到行人步态识别结果。该专利采用单一观测视角，无法全面深入地刻画步行过程中的内在信息。
发明内容
本发明提供一种基于三目视觉数据的个体步态识别方法，融合多个视角下的步态信息，提高步态识别技术的鲁棒性。
为解决上述技术问题，本发明的技术方案如下：
一种基于三目视觉数据的个体步态识别方法，包括以下步骤：
S1：采集多角度下的人体轮廓信息；
S2：提取每个角度的人体轮廓信息下的步态动力学特征，形成步态模式库；
S3：根据步骤S2提取得到的步态动力学特征，构建每个角度下的步行深度学习模型；
S4：获取待识别的多角度人体轮廓信息下的步态动力学特征，与已有的步态模式库中进行基于步态动力学特征的识别误差；
S5：根据所得识别误差的大小判断每个角度下的步态深度学习模型学习所得的特征向量在最终分类任务中的权重值，实现步态识别。
优选地，所述步骤S1中利用互成角度的三台摄像机采集三个角度下的人体轮廓图像。
优选地，所述步骤S2中提取每个角度的人体轮廓信息下的步态动力学特征，具体为：
将三台摄像机下的人体轮廓图像序列分别进行背景减除以及形态学处理，获得三台摄像机下人体行走的二值步态轮廓图，提取人体运动面积特征参数，形成非线性步态动力学特征矩阵，所述人体运动面积特征参数包括人体运动轮廓总面积A1、人体下肢轮廓总面积A2、以及两脚尖点连连线对地三角形面积A3。
优选地，所述步骤S2中形成步态模式库，具体为：
对提取得到的人体运动面积特征参数建立非线性动力学模型，构建神经网络用于提取非线性步态动力学，所得结果以常值神经网络的形式，代表步态模式存储在步态模式库中。
优选地，所述步骤S3中构建每个角度下的步行深度学习模型，具体为：
将三台摄像机下得到的非线性步态动力学特征矩阵输入至深度神经网络模型，进行二次特征提取和模型训练，并将二次特征提取后的步态特征值F1、F2、F3存储在步态模式库中，训练好的深度神经网络模型形成相对于三台摄像机的步态识别深度学习模型M1、M2、M3。
优选地，所述步骤S4中与已有的步态模式库中进行基于步态动力学特征的识别误差具体为：
在三台摄像机视图中分别利用所述常值神经网络构建动态估计器，计算提取得到的步态动力学特征与动态估计器得到的估计值之间的差值，形成识别误差ε并提取三台摄像机下取得的最小误差ε1，ε2，ε3。
优选地，所述构建动态估计器，具体为：
式中，k＝1，...，M表示第k个估计器，表示动态估计器的状态，x是某一输入测试模式的状态变量，B是常值经验值参数(取值为[-10,-25]之间)。代表常值神经网络，其中代表神经网络权值矩阵，S(x)代表所用的径向基函数。
优选地，所述计算提取得到的步态动力学特征与动态估计器得到的估计值之间的差值，形成识别误差ε，具体为：
式中，是状态估计误差，表示动态估计器的状态，xi表示某一输入测试模式的状态变量，bi表示常值经验值参数(取值为[-10,-25]之间)。代表常值神经网络，其中代表神经网络权值矩阵，Si(x)代表所用的径向基函数，φi(x；p)代表测试模式非线性步态动力学特征，下标i＝1,2,3，分别指三台摄像机下得到的人体运动面积特征参数下的步态动力学特征，p代表系统参数，不同的p值表征不同的个体对应不同的步态动力学系统。
优选地，所述提取三台摄像机下取得的最小误差ε1，ε2，ε3，具体为：
式中，Tc代表步态周期时间值，t代表当前时间值。
优选地，步骤S5中根据所得识别误差的大小判断每个角度下的步态深度学习模型学习所得的特征向量在最终分类任务中的权重值，实现步态识别，具体为：
比较最小误差的大小关系，根据该大小关系选择不同的权值分配方案，不同的权值分配方案中的权值不同；
根据分配后的权值，将二次特征学习后所述的特征数据通过加权平均方式进行数值融合得到拼接后的步态特征数值，将拼接后的步态特征数值输入到七层全连接网络进行分类，完成步态识别。
与现有技术相比，本发明技术方案的有益效果是：
与传统的步态识别方法相比，本发明提出了三目视觉数据融合策略，把多个不同观测视角下的步态信息融合，提取综合特征。这种综合特征涵括了多个观测视角下更全面的步态信息，因此更加适应实际应用中复杂多变的内外因素的影响，有较强的实用性和可操作性。
附图说明
图1为本发明的方法流程示意图。
图2为实施例中人体运动面积特征参数的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于三目视觉数据的个体步态识别方法，如图1所示，包括以下步骤：
S1：采集多角度下的人体轮廓信息；
S2：提取每个角度的人体轮廓信息下的步态动力学特征，形成步态模式库；
S3：根据步骤S2提取得到的步态动力学特征，构建每个角度下的步行深度学习模型；
S4：获取待识别的多角度人体轮廓信息下的步态动力学特征，与已有的步态模式库中进行基于步态动力学特征的识别误差；
S5：根据所得识别误差的大小判断每个角度下的步态深度学习模型学习所得的特征向量在最终分类任务中的权重值，实现步态识别。
所述步骤S1中利用互成角度的三台摄像机采集三个角度下的人体轮廓图像。
所述步骤S2中提取每个角度的人体轮廓信息下的步态动力学特征，具体为：
将三台摄像机下的人体轮廓图像序列分别进行背景减除以及形态学处理，获得三台摄像机下人体行走的二值步态轮廓图，提取人体运动面积特征参数，形成非线性步态动力学特征矩阵，如图2所示，所述人体运动面积特征参数包括人体运动轮廓总面积A1、人体下肢轮廓总面积A2、以及两脚尖点连连线对地三角形面积A3。
所述步骤S2中形成步态模式库，具体为：
对提取得到的人体运动面积特征参数建立非线性动力学模型其中x＝[A1,A2,A3]代表三个面积特征参数，构建神经网络用于提取非线性步态动力学，本实施例中使用RBF神经网络，所得结果以常值神经网络的形式[W1S1(x),W2S2(x),W3S3(x)]，代表步态模式存储在步态模式库中，S(.)代表所用RBF神经网络中的径向基函数。
所述步骤S3中构建每个角度下的步行深度学习模型，具体为：
将三台摄像机下得到的非线性步态动力学特征矩阵输入至深度神经网络模型，进行二次特征提取和模型训练，并将二次特征提取后的步态特征值F1、F2、F3存储在步态模式库中，训练好的深度神经网络模型形成相对于三台摄像机的步态识别深度学习模型M1、M2、M3。
所述步骤S4中与已有的步态模式库中进行基于步态动力学特征的识别误差具体为：
在三台摄像机视图中分别利用所述常值神经网络构建动态估计器，计算提取得到的步态动力学特征与动态估计器得到的估计值之间的差值，形成识别误差ε并提取三台摄像机下取得的最小误差ε1，ε2，ε3。
所述构建动态估计器，具体为：
式中，k＝1，...，M表示第k个估计器，表示动态估计器的状态，x是某一输入测试模式的状态变量，B是常值经验值参数(取值为[-10,-25]之间)。代表常值神经网络，其中代表神经网络权值矩阵，S(x)代表所用的径向基函数。
所述计算提取得到的步态动力学特征与动态估计器得到的估计值之间的差值，形成识别误差ε，具体为：
式中，是状态估计误差，表示动态估计器的状态，xi表示某一输入测试模式的状态变量，bi表示常值经验值参数(取值为[-10,-25]之间)。代表常值神经网络，其中代表神经网络权值矩阵，Si(x)代表所用的径向基函数，φi(x；p)代表测试模式非线性步态动力学特征，下标i＝1,2,3，分别指三台摄像机下得到的人体运动面积特征参数下的步态动力学特征，p代表系统参数，不同的p值表征不同的个体对应不同的步态动力学系统。
所述提取三台摄像机下取得的最小误差ε1，ε2，ε3，具体为：
式中，Tc代表步态周期时间值，t代表当前时间值。
步骤S5中根据所得识别误差的大小判断每个角度下的步态深度学习模型学习所得的特征向量在最终分类任务中的权重值，实现步态识别，具体为：
比较最小误差的大小关系，根据该大小关系选择不同的权值分配方案，不同的权值分配方案中的权值不同；
根据分配后的权值，将二次特征学习后所述的特征数据通过加权平均方式进行数值融合得到拼接后的步态特征数值，将拼接后的步态特征数值输入到七层全连接网络进行分类，完成步态识别。
在具体实施过程中，采用CASIA-B步态数据库，该数据库共包含124个人，每个人分别有11个视角(0°、18°、36°、…、180°)的步态序列，每个视角下有6个正常行走步态序列、2个穿大衣行走序列和2个提包序列。本实施例选取54°、90°、126°三个视角的步态序列作为训练集和测试集，提取每一个人的行走视频，依次进行背景减除，对已经背景分离的步态图像进行形态学处理，得到二值化人体轮廓图。本实施例以三个视角下四个正常行走序列、一个穿大衣行走和一个提包序列作为训练模式，其余序列作为测试模式。
对于计算所得的识别误差值，满足ε1>ε2>ε3时，调用权值分配方案K1；识别误差值满足ε1>ε3>ε2，调用权值分配方案K2；识别误差值满足ε2>ε1>ε3，调用权值分配方案K3；识别误差值满足ε2>ε3>ε1，调用权值分配方案K4；识别误差值满足ε3>ε1>ε2，调用权值分配方案K5；识别误差值满足ε3>ε2>ε1，调用权值分配方案K6；识别误差值满足ε1>>ε2+ε3，调用权值分配方案K7；识别误差值满足ε2>>ε1+ε3，调用权值分配方案K8；识别误差值满足ε3>>ε1+ε2，调用权值分配方案K9；
在本发明的一个实施方式中，所述的权值分配方案K1，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q1＝a1×F1特征数值+a2×F2特征数值+a3×F3特征数值。其中，a1,a2,a3为权值，Q1为拼接后的步态特征数值。将Q1输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述a1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述a2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述a3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K2，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q2＝b1×F1特征数值+b2×F2特征数值+b3×F3特征数值。其中，b1,b2,b3为权值，Q2为拼接后的步态特征数值。将Q2输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述b1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述b2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述b3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K3，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q3＝c1×F1特征数值+c2×F2特征数值+c3×F3特征数值。其中，c1,c2,c3为权值，Q3为拼接后的步态特征数值。将Q3输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述c1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述c2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述c3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K4，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q4＝d1×F1特征数值+d2×F2特征数值+d3×F3特征数值。其中，d1,d2,d3为权值，Q4为拼接后的步态特征数值。将Q4输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述d1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述d2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述d3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K5，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q5＝e1×F1特征数值+e2×F2特征数值+e3×F3特征数值。其中，e1,e2,e3为权值，Q5为拼接后的步态特征数值。将Q5输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述e1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述e2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述e3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K6，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q6＝f1×F1特征数值+f2×F2特征数值+f3×F3特征数值。其中，f1,f2,f3为权值，Q6为拼接后的步态特征数值。将Q6输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述f1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述f2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述f3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K7，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q7＝g1×F1特征数值+g2×F2特征数值+g3×F3特征数值。其中，g1,g2,g3为权值，Q7为拼接后的步态特征数值。将Q7输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述g1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述g2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述g3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K8，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q8＝h1×F1特征数值+h2×F2特征数值+h3×F3特征数值。其中，h1,h2,h3为权值，Q8为拼接后的步态特征数值。将Q8输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述h1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述h2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述h3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，所述的权值分配方案K9，具体指二次特征学习后所得特征数据通过加权平均方式进行数值融合：Q9＝i1×F1特征数值+i2×F2特征数值+i3×F3特征数值。其中，i1,i2,i3为权值，Q9为拼接后的步态特征数值。将Q9输入到七层全连接网络进行分类，实现步态识别任务。
优选地，所述i1的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述i2的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
优选地，所述i3的值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1.0。
在本发明的一个实施方式中，在CAKIA-B数据库中的识别实验，正常行走条件下最高可达97％的识别效率，提包行走条件下最高可达80％的识别率，穿大衣条件下最高可达79％的识别率。可见，行走个体即便在不同提包条件或者穿大衣条件下，识别率还在能接受的范围内，并未失效。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
