一种轨交弓网点云智能监测方法
技术领域
本发明涉及轨交弓网三维点云智能监测技术,属于轨交设备监测
技术领域
。背景技术
轨道交通车辆运营安全关键在弓网系统设备安全与保障,为此通常采用无线视频监测系统实时监测运营状况,通常采用的是平面摄像头及二维图像识别的传统监测方法,存在很多识别技术问题。为此,图像识别系统开始发展三维立体图像识别的更先进
技术领域
,采用立体视觉的三维点云是用来描述物体三维信息数据点的集合,通过快速获取复杂形状目标的完整三维点云,重构目标的三维模型是解决包括在线智能监测、识别与定位是发展中的关键技术。获取三维点云立体图像数据的方式主要可分为两类:通过一些机械接触来进行获取的接触式测量,例如三坐标测量机测量;不需要通过机械接触来获取的非接触式测量,例如基于机器视觉技术的测量。而三维扫描是获取三维点云的有效手段,其在目标识别、三维重构、地理信息系统(GIS)构建、医疗辅助、古文物修复等各领域都有广泛应用。不过,现国内使用的高精度扫描仪多依赖于进口,例如激光扫描,精度高的同时成本也很高,也不适合轨道交通车辆等设备应用环境。因此,如何在采用结构简单易于安装的双目视觉系统替代复杂激光三维监测系统,且快速获取复杂目标物体的完整三维点云立体监测数据,易于安装在轨交交通车辆并开展弓网安全监测工作,成为一个重要问题。
发明内容
目的:为了克服现有技术中存在的不足,本发明提供一种轨交弓网点云智能监测方法。
技术方案:为解决上述技术问题,本发明采用的技术方案为:
一种轨交弓网点云智能监测方法,包括如下步骤:
步骤一:采用双目摄像机采集的左右图像分别进行计算机图像预处理,将弓网监测的目标物体从图像中分割出来;
所述步骤一包括:
1a:使用最大类间方差法(OTSU)对左右图像的灰度图进行阈值分割二值化处理,然后分别与原灰度图像进行叠加,得到目标图像;
1b:预处理后的目标图像 R 变成了原灰度图像的目标区域,背景为纯白色的图像,目标物体被分割出来;
步骤二:采用云计算机自动截取目标所在的矩形区域,并对其进行立体匹配得到被测物体视差;
所述步骤二包括:
2a:对经图像预处理后的左右图像R使用最小矩形自动包围目标物体的算法,用Rect-L(X l ,Y l ,W l ,H l )表示左图像最小矩形框,用Rect-R(X r ,Y r ,W r ,H r )表示右图像最小矩形框。其中X,Y表示矩形框左上角在图像中的横、纵坐标,W和H表示矩形框的宽度和高度。
2b:立体匹配时,待配准图像(右图像)的有效匹配区域从第numDisparites列开始,所以待匹配图像目标物体左侧需空出numDisparites列。用Rect_ROI(X roi,Y roi,Wroi,H roi)表示算法自动截取的区域,各变量的数值计算如下:
2c:采用半全局块匹配(SGBM)算法对经过预处理的左右图像进行立体匹配得到视差;
2d:视差是以左图像为基础获得,为消除边缘处部分误匹配,以左图像为基础修改视差矩阵,修改视差值:
上式中:L (x,y)表示左图像任意点(x,y)的灰度值;D (x,y)表示视差矩阵任意点(x,y)的视差值;
步骤三:采用云计算机将视差与双目标定得到的重投影矩阵进行运算,得到物体某一角度下的三维点云;
所述步骤三包括:
3a:采用立体匹配得到的视差与双目标定得到的重投影矩阵进行运算得到三维点云中各点的坐标;其中,重投影矩阵为:
式中:c x 表示主点在左图像中的 x坐标;c y 表示主点在左图像中的 y坐标;f表示立体标定后计算得到的焦距;T x表示两相机的基线距离;
3b:给定一个二维齐次点(x,y)和其关联的视差d,可以将该点投影到三维中,如下:
该点的三维坐标为( X W, Y W, Z W );
步骤四:云计算机通过对不同角度下经步骤一至步骤三得到的点云进行迭代最近点算法ICP配准,获得监测目标物体完整的三维点云立体图像。
所述步骤四包括:
4a:读取模型点云X和目标点P,点集中点的个数分别为,;
4b:在模型点云X中寻找与目标点云 P 中每一点最近的对应点,并组成新的点集 ,其中∈X ;
4c:分别计算模型点云子集、目标点云P的重心,两点云的协方差矩阵;
4d:由点集,P的协方差矩阵构造4×4的对称矩阵;
4e:计算矩阵的特征向量,其中最大特征值所对应的特征向量即为用单位四元数表示的最优旋转向量,进而计算最优平移向量;
4f:将流程 5)中的刚体变换矩阵,作用于目标点云得到变换后的新点云集和,计算新位置的目标点云与模型点云P的平均欧氏距离平方和;
4g:若目标点云与模型点云 P 的差异的变化小于给定阈值τ,即<τ,终止迭代,否则返回流程4b,直至满足 < τ。
有益效果:本发明提供的一种轨交弓网点云智能监测方法,能够通过采用双目视觉系统和云计算设备较快获取轨交弓网监测目标物复杂形状目标的完整三维点云立体图像,结构简单更适应轨交交通车辆安装运营环境需要,更便于监测弓网运营安全且有效替代精密复杂的进口激光三维扫描系统,降低了成本、提升效率。
附图说明
图1是本发明提供的点云智能获取的流程图
具体实施方式
下面结合附图对本发明作更进一步的说明。
一种轨交弓网点云智能监测方法,包括如下步骤:
步骤一:采用双目摄像机采集的左右图像分别进行计算机图像预处理,将弓网监测的目标物体从图像中分割出来;
所述步骤一包括:
1a:使用最大类间方差法(OTSU)对左右图像的灰度图进行阈值分割二值化处理,然后分别与原灰度图像进行叠加,得到目标图像;
1b:预处理后的目标图像 R 变成了原灰度图像的目标区域,背景为纯白色的图像,目标物体被分割出来;
步骤二:采用云计算机处理自动截取目标所在的矩形区域,并对其进行立体匹配得到被测物体视差;
所述步骤二包括:
2a:对经图像预处理后的左右图像R使用最小矩形自动包围目标物体的算法,用Rect-L(X l ,Y l ,W l ,H l )表示左图像最小矩形框,用Rect-R(X r ,Y r ,W r ,H r )表示右图像最小矩形框。其中X,Y表示矩形框左上角在图像中的横、纵坐标,W和H表示矩形框的宽度和高度。
2b:立体匹配时,待配准图像(右图像)的有效匹配区域从第numDisparites列开始,所以待匹配图像目标物体左侧需空出numDisparites列。用Rect_ROI(X roi,Y roi,Wroi,H roi)表示算法自动截取的区域,各变量的数值计算如下:
2c:采用半全局块匹配(SGBM)算法对经过预处理的左右图像进行立体匹配得到视差;
2d:视差是以左图像为基础获得,为消除边缘处部分误匹配,以左图像为基础修改视差矩阵,修改视差值:
上式中:L (x,y)表示左图像任意点(x,y)的灰度值;D (x,y)表示视差矩阵任意点(x,y)的视差值;
步骤三:采用云计算机将视差与双目标定得到的重投影矩阵进行运算,得到物体某一角度下的三维点云;
所述步骤三包括:
3a:采用立体匹配得到的视差与双目标定得到的重投影矩阵进行运算得到三维点云中各点的坐标;其中,重投影矩阵为:
式中:c x 表示主点在左图像中的 x坐标;c y 表示主点在左图像中的 y坐标;f表示立体标定后计算得到的焦距;T x表示两相机的基线距离;
3b:给定一个二维齐次点(x,y)和其关联的视差d,可以将该点投影到三维中,如下:
该点的三维坐标为( X W, Y W, Z W );
步骤四:云计算机通过对不同角度下经步骤一至步骤三得到的点云进行迭代最近点算法ICP配准,获得监测目标物体完整的三维点云立体图像。
所述步骤四包括:
4a:读取模型点云X和目标点P,点集中点的个数分别为,;
4b:在模型点云X中寻找与目标点云 P 中每一点最近的对应点,并组成新的点集 ,其中∈X ;
4c:分别计算模型点云子集、目标点云P的重心,两点云的协方差矩阵;
4d:由点集,P的协方差矩阵构造4×4的对称矩阵;
4e:计算矩阵的特征向量,其中最大特征值所对应的特征向量即为用单位四元数表示的最优旋转向量,进而计算最优平移向量;
4f:将流程 5)中的刚体变换矩阵,作用于目标点云得到变换后的新点云集和,计算新位置的目标点云与模型点云P的平均欧氏距离平方和;
4g:若目标点云与模型点云 P 的差异的变化小于给定阈值τ,即<τ,终止迭代,否则返回流程4b,直至满足 < τ。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:一种结合全局和邻域信息的血管分割方法