具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了实现连续的自主巡检，机器人需要提前识别前方存在于行走线路上的障碍物，并根据障碍物类型和位置信息执行相应的越障动作。地线上的常规障碍物包括防震锤，线夹等线路金具，障碍物检测的可靠性对机器人的安全运行至关重要，错误的判断会造成巨大的安全隐患，申请人发现现有的采用视觉识别原理的巡检机器人在障碍物判断上识别障碍物的种类和能力有限，以及判断计算过程过于缓慢，进而造成对未知类型异常障碍物的鲁棒性较低，实时性难以把控。

如图1所示的一种架空输电线路巡检机器人障碍物检测方法的工作流程如下：

步骤1：在机器人本体的左右两侧固定安装视频采集传感器，且视频采集传感器光轴与竖直方向的夹角为α，所述视频采集传感器拍摄和采集与机器人运动方向一致的视频，发送至有无障碍物预判断模块用于障碍物检测。

步骤2：根据步骤1中采集的视频信息预判断有无障碍物，定位地线所在区域，提取地线区域轮廓，通过检测地线轮廓异常以及完整性判断地线上有无障碍物。

步骤3：判断运动方向有障碍物后，将采集数据输入卷积神经网络模型，将预判为存在障碍物的图像缩放为指定尺寸，输入训练好的模型中，预测出图中障碍物的类别，位置以及目标框置信度。

步骤4：根据障碍物检测模型预测出的障碍物的类别，位置以及目标框置信度，对障碍物进行测距与预警；计算障碍物与传感器之间的距离，并将类别与距离信息返回到机器人控制节点；若出现未知类型的障碍物，则返回预警信号，提示机器人紧急制动。

其中，本发明在实际使用中正常情况下地线上的线路金具如防震锤，线夹等，仅存在于塔头附近，因此机器人大多数时间在无障碍物的地线上行走；若障碍物有无预判断模块未识别到前方障碍物的存在，则结束当前帧的检测流程，继续下一帧的检测；大多数帧由于不包含障碍物，将在预判断模块被快速排除，显著地减少了计算资源的消耗。

线路上的障碍物包括：已知的线路金具如防震锤，线夹和过桥金具；已知的异常障碍物如风筝，气球和塑料薄膜；未知类型的异常障碍物如异常的突起，凹陷。若障碍物有无预判断模块识别到前方地线上存在障碍物，则将当前帧图像输入障碍物检测模块，通过障碍物检测神经网络预测出图中障碍物的类别，边框的位置和目标框置信度；若障碍物检测模块检测到常规线路金具，则将障碍物边框位置输入障碍物测距模块，然后输出障碍物类型和障碍物到机器人的距离，机器人按照金具类型采取不同的越障动作，自主通过障碍物；若障碍物为已知类型的异常障碍物，则在执行障碍物测距模块后输出障碍物类型，距离和报警信息，机器人减速行走到与障碍物指定距离后停止，并拍摄高清障碍物图像返回到现场工作人员的终端设备，进行手动控制；若障碍物检测模块未检测到已知类型的障碍物，则直接输出报警信息，指示机器人紧急制动，并返回图像到现场工作人员，进行手动控制。

如图2所示本发明中的障碍物有无预判断模块是基于地线轮廓提取，对边缘特征形态分析而实现的，结合图2对步骤2中预判断有无障碍物的方法进一步地说明：

步骤2.1：根据视频采集传感器采集的原始视频，提取单帧原始图像；提取的单帧原始图像中心包含一段地线的核心区域；由于视频采集传感器与机器人本体采用的是固定连接的方式，因此视频采集传感器中光轴与竖直方向的角度α是固定夹角范围，且机器人本体与其所行走的地线的相对位置也是固定的，因此在视频采集传感器采集到的单帧图像中，地线所在的相对位置总是处于整幅图像的中轴线附近；即使机器人在一定角度范围内摆动，地线的相对位置依然处于图像中轴线左右可控小范围之内；因此从1920*1080像素的原始图像中裁剪出416*416的核心区域作为判断障碍物有无模块的输入；核心区域的提取有效地缩小了需要处理图像的尺寸，并且比直接缩放保留了更多图像细节；同时限定了识别区域的距离范围，减少远处线路图像对当前状态判断的影响的同时减少模型计算时间。

步骤2.2：对提取图像进行高斯滤波，实现平滑处理；再对平滑处理后的图像进行灰度转换。

步骤2.3：使用边缘检测算法提取图像边缘；本发明中采用使用Canny边缘检测算法提取图像边缘。

步骤2.4：定位地线所在的位置和区域；基于平行线群检测的地线位置定位由于地线的边缘是两条相互靠近的几乎平行的长直线，与其它杆塔部件及背景有显著的差异，可作为地线位置判断主要依据；通过累计概率霍夫变换检测边缘提取图中的直线，对检测到的所有直线进行基于斜率的聚类，获得聚集的平行线群，即可用于定位地线所在的位置。

步骤2.5：对定位的地线所在区域进行分割；优选地，步骤2.5中对定位的地线所在区域进行分割进一步地为：

使用OTSU最大类间方差法对灰度图进行前背景分割，视频采集传感器光轴与竖直方向的夹角α等于45°时，视频采集传感器呈45度角朝上方天空拍摄，为了防止视频采集传感器采集的画面中出现飞鸟、飞机以及其它空中飞行干扰物体被分类为前景，在图像二值化后再基于深度图中像素深度阈值进一步过滤背景像素点，生成只保留前景的二值图；对二值图像进行形态学开操作，分离可能粘连的区域并进一步去除噪声；提取图中各个区域的轮廓，基于步骤2.4中的方法确认的地线所在位置，确定地线区域。

步骤2.6：提取分割后地线区域的轮廓；检测地线轮廓是否存在显著突变进一步地为：

首先生成地线区域轮廓的凸包，然后进行凸缺陷检测，超过阈值的凸缺陷为轮廓显著突变；由于障碍物附属在地线上，整体轮廓呈凸起状，若地线上存在障碍物，凸包检测结果会包含显著的凸缺陷。

步骤2.7：根据提取的地线轮廓检测地线轮廓是否存在显著突变，以此判断为障碍物；此外，当出现地线被白色塑料薄膜、透明物体遮盖时，会出现地线形态不完整，地线的形状将呈现被隔开的两段；导致无法对地线区域进行分割，进而对提取的地线区域轮廓进行形态分析，若地线形态不完整则同样判断为有障碍物。

步骤2.8：若未检测到显著的轮廓突变，对提取的地线区域轮廓进行形态分析，若地线形态不完整，则同样判断为有障碍物。

本发明中卷积神经网络模型包括：分组卷积层、融合卷积模块以及批量归一化层，且所述分组卷积层、所述融合卷积模块以及所述批量归一化层交替组合；所述分组卷积层数量为8个、融合卷积模块数量为3个；每个融合卷积模块包含4个分组卷积层。该网络中的所有卷积层都使用分组卷积代替传统卷积，分组卷积可以有效地减少参数量，也可以减少冗余卷积核并防止模型过拟合。融合卷积模块的具体结构如图3中融合卷积模块部分所示，其融合卷积模块通过1×1的卷积核，基于N个通道的特征图输入，输出两个拥有N/2个通道的特征图分支；其中一个分支使用一层3×3分组卷积，另一分支使用两层3×3分组卷积；两个分支的输出结果通过合并操作，生成N个通道的特征图。融合卷积模块通过融合不同深度的特征层，提升了模型的特征提取能力，同时分支结构也减少了模型的参数量。

优选地，在判断运动方向有障碍物后，将采集的网络图像输入卷积神经网络模型，图像尺寸缩放为384×256像素，其被分为6×4个网格，每个网格被设置为负责检测两个障碍物，数据集中障碍物类型包括3种线路常规金具包括和3种已知类型异常障碍物，线路金具包括防震锤，线夹和过桥金具；异常障碍物包括气球，塑料袋和风筝。该障碍物检测模型网络输出结构为6×4×22尺寸的矩阵，每个网格检测2个目标；每个目标输出用11个参数表示，包括目标框置信度、中心点坐标、长宽以及属于6个类别的概率；

该障碍物检测模型的损失函数为：

其中，其中表示在第i网格的第j个候选框中是否存在目标，σ_x和σ_y表示预测目标框中心点坐标误差，w_i表示预测的目标框宽度，表示实际存在的目标框宽度，h_i表示预测的目标框高度，表示实际存在的目标框高度，CF表示预测的目标框置信度，表示预测的目标属于第c类的概率，表示实际目标属于第c类的概率，classes表示所有的目标类别，δ_obj表示存在目标时的惩罚系数，δ_noobj表示不存在目标时的惩罚系数，表示实际目标框的置信度。

在进一步的实施例中，障碍物检测模型方法如下：

步骤3.1：将卷积神经网络模型最后两层分组卷积层替换为全局均值池化层接上全连接层和softmax层构成一个分类模型，使用公共数据集训练该分类模型，训练完成后冻结特征提取层的参数作为本发明中所述网络的主干网络初始参数。

步骤3.2：使用标注好的线路障碍物数据集对网络进行微调。

所述步骤4进一步地为：

将图中包含障碍物的边框作为目标框，对目标框内像素进行基于像素深度的聚类，实现障碍物区域像素级分割；去除机器人行走地线所在区域的像素点；求剩余像素的最小值，即可获得障碍物到视频采集传感器的距离；将障碍物到视频采集传感器的距离转换为障碍物到机器人前行走轮的距离。

本发明采用有无障碍物预判断模块，高效地排除了不存在障碍物的场景，避免了深度神经网络长时间运行推理，显著地减少了计算资源的消耗和提高障碍物的识别效率；采用基于地线轮廓特征的有无障碍物判断算法，可以高精确地检测到地线边缘的突变，对未知类型异常障碍物的检测有很好的鲁棒性；障碍物检测模型由少量分组卷积层和融合卷积模块构成，在保证检测精度的同时，有效地减少了网络的参数量，提高了实时性。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。