一种基于双目视觉的钢拱架铰接孔检测方法及其应用
技术领域
本发明属于隧道施工相关
技术领域
，更具体地，涉及一种基于双目视觉的钢拱架铰接孔检测方法及其应用。背景技术
岩石隧道掘进机(TBM)是指在常压情况下全断面开挖岩石的高度机械化刀盘式机头掘进机，其集掘进、支护、出渣等功能为一体，是隧道施工中的重要设备。隧道支护作为掘进过程中的必要一环，起着支撑岩壁、防止坍塌、保护施工人员生命安全的重要作用。当前隧道支护主要采用弧形钢拱架，配合锚杆、钢筋网、钢筋排进行固定，然后喷射混凝土，实现加强支护。由于钢拱架成圆弧状，体积较大，又是金属材质，在空间有限的隧道中过于笨重，导致钢拱架的拼装成为支护中的一大难点。
目前钢拱架的成环拼装已有专门的钢拱架拼装机完成，但在两钢拱架对准拼接时，仍然是靠人工完成。众多工人一起合力搬运两钢拱架，使两钢拱架端面对齐，并由人眼判断是否对准，此种方法不仅费时费力，而且效率低，精度不高，严重影响掘进速度，而且无法保证施工安全，威胁工人们的身体健康。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双目视觉的钢拱架铰接孔检测方法及其应用，其中该方法利用双目视觉技术实现了对钢拱架铰接孔的位置检测，具有测量速度快、精度高的优势，可帮助机械手抓取钢拱架进行自动化拼接，进而达到节省人力、保证施工安全的目的。
为实现上述目的，按照本发明的一个方面，提出了一种基于双目视觉的钢拱架铰接孔检测方法，该方法包括如下步骤：
S1标定双目视觉系统，得到两相机的内、外参矩阵和畸变系数，以及两相机坐标系之间的刚体变换矩阵；
S2利用所述双目视觉系统采集左、右两侧待测钢拱架的原始图像，并使用步骤S1获得的畸变系数对两个所述原始图像进行去畸变处理，以此得到更新图像；
S3分别对两个所述更新图像进行模板匹配，得到所述更新图像中铰接孔的感兴趣区域；
S4分别对两个所述感兴趣区域进行预处理，得到感兴趣区域内所有的边缘轮廓；
S5将所述边缘轮廓拟合为椭圆并进行筛选，选取拟合程度最高的边缘轮廓作为该侧的铰接孔轮廓，从而获得铰接孔圆心在其对应侧原始图像中的坐标；
S6根据所述铰接孔圆心在对应侧原始图像中的坐标以及步骤S1获得的内、外参矩阵和刚体变换矩阵，得到铰接孔圆心的世界坐标，以此完成钢拱架铰接孔的测量工作。
作为进一步优选地，步骤S1中，利用棋盘格标定所述双目视觉系统。
作为进一步优选地，步骤S1中，所述畸变系数包括径向畸变系数和切向畸变系数；所述刚体变换矩阵包括旋转变换矩阵和平移变换矩阵。
作为进一步优选地，步骤S3中，先根据图像金字塔原理将所述更新图像进行缩小，然后再根据缩小后的所述更新图像进行模板匹配。
作为进一步优选地，分别采用如下子步骤对左、右两侧的感兴趣区域进行预处理：
S41采用高斯滤波去除所述感兴趣区域的噪声；
S42对去除噪声的感兴趣区域进行图像增强，以消除待测钢拱架表面反光形成的光斑，同时增大所述铰接孔边缘处的对比度；
S43利用Canny算法提取增强后的感兴趣区域的边缘并进行连接，以获得感兴趣区域内所有的边缘轮廓。
作为进一步优选地，步骤S41中，利用核大小为5、7或9的高斯滤波去除所述感兴趣区域的噪声。
作为进一步优选地，步骤S42中，将去除噪声的感兴趣区域的像素灰度值乘以2.5-3.0，并将灰度值大于255的像素点统一为255。
作为进一步优选地，分别采用如下子步骤获得铰接孔圆心在左、右两侧原始图像中的坐标：
S51利用最小二乘法将得到的边缘轮廓拟合为椭圆，并利用椭圆的长、短轴长度大于200、小于450的信息对上述边缘轮廓进行初步筛选；
S52将经过初步筛选后的边缘轮廓上的所有点代入其对应的椭圆中并进行求和，以得到各个边缘轮廓的拟合程度；
S53将拟合程度最高的边缘轮廓作为铰接孔轮廓，并将其对应的椭圆中心坐标作为铰接孔圆心在对应侧感兴趣区域中的坐标，进而获得所述铰接孔圆心在对应侧原始图像中的坐标。
按照本发明的另一方面，提供了一种实现上述方法的双目视觉系统。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1.本发明利用双目视觉技术实现了对钢拱架铰接孔的位置检测，具有测量速度快、精度高的优势，可帮助机械手抓取钢拱架进行自动化拼接，进而节省人力，并且保证施工安全；
2.此外，本发明在钢拱架铰接孔的轮廓提取过程中，通过高斯滤波、图像增强、边缘提取、轮廓筛选等一系列图像预处理过程，准确获得铰接孔的轮廓，并用最小二乘法将其拟合成椭圆，此过程不需要复杂的椭圆拟合算法，具有方法简单、准确可靠、耗时短、速度快等优势。
附图说明
图1是本发明提供的基于双目视觉的钢拱架铰接孔测量方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例了一种基于双目视觉的钢拱架铰接孔检测方法，该方法包括如下步骤：
(1)搭建双目视觉系统，根据钢拱架、机械手位姿情况将两相机平行摆放，相距300mm左右，距离钢拱架650mm，相机为1200万像素的COMS相机，镜头焦距为16mm；相机上下各摆放一个条形光源，该光源尺寸为 300x30mm；
(2)根据张正友标定法，利用双目视觉系统采集11-14对棋盘格左、右图像，标定得到该双目视觉系统左、右相机的内、外参矩阵，径向畸变系数k1，k2，k3，切向畸变系数p1，p2，以及右相机坐标系相对于左相机坐标系的刚体转换矩阵，包括旋转变换矩阵R和平移变换矩阵T；
(3)利用双目视觉系统采集钢拱架左、右图像，视场范围为250× 187.5mm左右，确保能够拍到钢拱架铰接孔及其一定的移动范围，将条形光源对准钢拱架进行打光，并调节光源控制器使得光源亮度合适，用左、右相机同时采集钢拱架图像，并使用标定得到的径向畸变系数和切向畸变系数对图像进行去畸变处理，以此得到更新图像；
(4)先根据图像金字塔原理，将图像缩小为原图的1/4后，再使用基于灰度的模板匹配法，分别对左、右缩小后的更新图像进行模板匹配，找到其与模板图像最相似的部分，得到左、右更新图像中铰接孔的感兴趣区域；
(5)对感兴趣区域进行预处理，首先用核大小为5、7或9的高斯滤波去除噪声，然后进行图像线性增强，所有像素灰度值乘以2.5-3.0，灰度值大于255的统一取为255，使铰接孔表面变亮，消除凹凸不平的金属表面反光形成的光斑，同时增大圆孔边缘处的对比度，接着提取边缘，并用大小为7-11的椭圆核对边缘二值图进行闭操作，从而将某些断开的边缘连接成一个整的轮廓，以获得感兴趣区域内所有的边缘轮廓；
(6)利用最小二乘法将每一条边缘轮廓拟合成一个椭圆，并利用以下信息对边缘轮廓进行初步筛选：边缘轮廓包含点数需大于600，边缘轮廓对应拟合椭圆的长、短轴长度应大于200、小于450；然后将初步筛选后的边缘轮廓上的所有点代入各自的椭圆方程并求和，得到各边缘轮廓的椭圆拟合程度FD，拟合程度最好的边缘轮廓即为铰接孔轮廓，其对应的椭圆中心坐标即为铰接孔圆心在感兴趣区域中的坐标(uroi,vroi)；对于椭圆公式 Ax2+Bxy+Cy2+Dx+Ey+F＝0，其拟合程度FD公式如下：
其中，N为轮廓点数，(xi,yi)为轮廓上点的坐标，A、B、C、D、E、F代表椭圆方程系数，FD代表拟合程度；
将铰接孔圆心在感兴趣区域中的坐标(uroi，vroi)加上感兴趣区域左上角在原图中的坐标(u0，v0)，得到铰接孔圆心在原始图像中的坐标，即：
式中,(u，v)为铰接孔圆心在原始图像中的坐标；
(7)由得到的铰接孔圆心在左、右原始图像中的坐标(u1,v1)和(u2,v2)，以及两相机的内、外参矩阵和刚体变换矩阵，求解如下方程组得到铰接孔圆心的世界坐标(X,Y,Z)，其中m1矩阵和m2矩阵分别由左、右相机的内参矩阵乘以外参矩阵得到，
式中，为m1矩阵中第i行，第j列的数字，为m2矩阵中第i行，第j列的数。
按照本发明的另一方面，提供了一种实现上述方法的双目视觉系统。该双目视觉系统括两个相机、两个镜头、两个条形光源、光源控制器和计算机，光源用于给钢拱架的铰接孔打光，光源控制器调节光源亮度，相机和镜头用于采集图像，并传送给计算机进行处理。
综上，本发明利用非接触性的双目视觉技术对钢拱架铰接孔进行检测，具有速度快，精度高，安全可靠等优点，有助于实现钢拱架拼接的自动化。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
