高空钢结构腐蚀的无人机视觉检测与评价方法及系统
技术领域
本发明属于无损检测
技术领域
，具体涉及一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统。背景技术
以港口起重机、大型游乐设施、锅炉、储罐、钢桥、塔架、风电设备等为代表的在役大型钢结构腐蚀，会使疲劳许用应力大幅降低和钢材抗冷脆性能下降，降低钢结构的承载能力，减少设备使用时间，严重时会导致结构断裂坠毁，引发重大恶性伤亡事故。钢结构腐蚀后其原有的颜色、形貌、纹理等特征会发生变化，根据腐蚀缺陷区别于正常区域的特征，可利用HIS、RGB、HSV、YCrCb、LAB等颜色模型转换方法，选择腐蚀颜色特征相对背景区域最显著的颜色空间模型及颜色分量，进行图像分割实现腐蚀检测，但是阈值分割严重依赖于手工设置阈值，对于不同数据集的泛化能力差，可能包含一些与腐蚀颜色相近的背景区域的误判，且腐蚀本身形态差异大，腐蚀部位形状也各不相同，导致腐蚀难以检测；也可以通过人工设计并提取图像中缺陷特征，采用分类器模型对缺陷进行分类识别，从而避免传统图像分割检测方法中手动调整阈值参数的问题，但人对特征的定义受经验影响，人工设计的缺陷特征对于多样性变化的鲁棒性不高，当人工设计算法无法表述图像高级特征时，识别率会大大降低。
深度学习通过自动学习获得目标特征，它自适应能力强、检测效率更高，逐渐成为主流的检测算法。以Faster R-CNN为代表的卷积神经网络检测算法直接预测锚框的宽度和高度，倾向于选择较大的锚框，不仅容易产生误差，导致锚框超出图像像素坐标范围，而且由于预测值的取值范围较大，在训练过程中会导致梯度不稳定；这类方法通常采用固定锚框设置，适合于创建特殊的预测因子，但是这些预测器不能很好地检测特定数据集中不同大小的对象；此外，目前基于深度学习的缺陷检测方法普遍停留在缺陷的分类与判定阶段，缺乏对腐蚀进行量化识别及损伤程度评价的理论和方法。
发明内容
本发明的目的在于提供一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统，解决起重机、塔架、风电叶片等大型高空钢结构腐蚀缺陷形态多变、背景复杂、难以在线检测和量化识别的技术问题。
为了解决上述问题，本发明通过如下技术方案实现：
高空钢结构腐蚀的无人机视觉检测与评价方法，包括如下步骤：
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置，全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像；
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块；
步骤三、利用改进YOLOV3深度神经网络分类模型，检测该大型高空钢结构图像中是否存在腐蚀缺陷；当检测到存在腐蚀缺陷时，通过K-means聚类方法自动生成锚框的尺寸，并标出腐蚀目标框区域；
步骤四、采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积，根据被腐蚀部分颜色深浅设置权重因子，计算其与腐蚀目标框区域面积之比为加权腐蚀率，并参考ASTM标准进行腐蚀分级评估。
进一步优化，还包括步骤五，当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加训练数据集的样本数量，提高检测识别精度。
进一步优化，所述步骤三中，通过K-means聚类方法实现anchor聚类，生成锚框的尺寸，具体步骤如下：
（1）输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T：
（1）
其中 ,表示第i个腐蚀目标框区域边界框的实际宽度，表示第i个腐蚀目标框区域边界框的实际高度；n为所有腐蚀目标框区域的数目；
（2）从T中随机选取m个元素作为初始聚类中心：
（2）
其中，是T的子集，i、j、m、n均为正整数，且m小于等于n；
（3）计算T中各元素到簇中心的交并比，如下：
（3）
设；
则；
（4）计算新的聚类中心：，其中；；
（5）如果新的聚类中心与原聚类中心相同，则算法终止并输出步骤（4）的计算结果作为最终的聚类中心，即为更新后的锚框尺寸，否则返回步骤（3）。
在基于anchor的目标检测算法中，anchor一般都是通过人工设计的。例如，在SSD、Faster-RCNN中，设计了9个不同大小和宽高比的anchor.然而，通过人工设计的anchor存在一个弊端，就是并不能保证它们一定能很好的适合数据集，如果anchor的尺寸和目标的尺寸差异较大，则会影响模型的检测效果。
因此，使用K-means聚类来代替人工设计，通过对训练集的bounding box进行聚类，自动生成一组更加适合数据集的anchor，可以使网络的检测效果更好。所以，最终的聚类中心即为更新后anchor的尺寸。
进一步优化，所述步骤三中，还对YOLOV3算法进行了以下改进：使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干，删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层，从而减少检测时间，增加两个特征连接路径，充分利用从网络中提取的特征，通过多尺度滑动窗口搜索法，对钢结构图像中是否存在腐蚀缺陷进行定性检测；采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率，当概率大于设定阈值T时，则认定盖缺陷为腐蚀缺陷，然后用目标框标出缺陷，并标注缺陷类别及概率值。
进一步优化，改进YOLOV3深度神经网络分类模型训练步骤如下：
（1）构建高空钢结构腐蚀缺陷训练数据集：大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥和船体大型设备钢结构的腐蚀图像，以及没有腐蚀缺陷的正常图像，形成数据集，然后采用翻转、平移和角度旋转方式增强该数据集，通过图库管理和标注软件，多端口人工进行图像样本的信息标注，构建训练数据集；
（2）深度神经网络学习：对于改进的YOLOV3深度神经网络分类模型，利用训练数据集进行学习，根据公式（4）计算所有训练数据的损失函数的总和，然后通过多次学习的方式使损失函数的总和E最小，寻找最优的模型参数，最终得到最佳的腐蚀缺陷分类模型；
（4）
式中，训练数据个数为R个，表示第l个训练数据的第k个元素值，表示神经网络的输出。
进一步优化，所述步骤四中，利用像素点法统计腐蚀区域内占有像素数，得到腐蚀的像素面积，并计算腐蚀率A，所述腐蚀率A为腐蚀的像素面积与腐蚀目标框区域面积之比，如公式（5）：
（5）
进一步优化，所述步骤四中，为更客观准确地评估腐蚀程度，根据图像中被腐蚀部分颜色深浅设置权重因子，计算每个腐蚀目标框区域的加权腐蚀率，具体方法如下：
（1）将每个腐蚀目标框区域按照颜色深浅程度划分为N个等级，即分为N个腐蚀区域，权重由重到轻分别设置为；
（2）权重设置步骤如下，首先提取各个腐蚀区域的灰度图像，获取其灰度直方图，然后对腐蚀部分像素灰度值从小到大进行排序，为腐蚀像素点坐标，得到灰度最小值和最大值，根据公式（6）设置每个腐蚀区域的权重：
（6）
（3）计算加权腐蚀率，如公式（7）：
（7）
式中，S 1，S 2，......，S N 表示不同腐蚀区域对应的像素面积。
进一步优化，，根据公式（6）-（7）计算得到加权腐蚀率，参考表1中ASTM 标准对每个腐蚀目标框区域的腐蚀程度进行分级，并根据相关等级建议需要重新油漆的区域，以降低腐蚀扩展和截面损失的概率。
表1 ASTM腐蚀性能等级
腐蚀等级
加权腐蚀率()范围
需要重刷油漆面积占比
10
< 0.01%
0
9
0.01% 0.1%
0
8
0.1%0.25%
0
7
0.25%0.5%
0
6
0.5% 1.0%
8%
5
1.0%2.5%
18%
4
2.5%5%
40%
3
5%10%
60%
2
10%25%
100%
1
25%50%
100%
0
50%100%
100%
高空钢结构腐蚀的无人机视觉检测与评价系统，包括电讯连接的无人机飞行平台、Camera Link工业相机、边缘计算设备、无线传输设备、地面终端显示设备和报警组件。
所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像，并通过Camera Link接口实时传递给边缘计算设备进行图像处理；
所述边缘计算设备包括存储模块和边缘计算图像处理模块；其中，所述存储模块用于存储无人机采集的待检测钢结构图像，并将图像传递给边缘计算图像处理模块；所述边缘计算图像处理模块对待检测图像进行图像数据处理，运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估，并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示，同时通过报警组件进行声光报警。
与现有技术相比，本发明的有益效果是：
1）、本发明针对腐蚀形态复杂多变、形状不规则、尺寸不均衡、背景复杂等特点，提出改进 YOLOV3 深度神经网络分类模型，通过K-means聚类方法自动生成锚框的尺寸，提高模型检测不同尺寸和形状腐蚀缺陷的能力，对 YOLOv3 网络进行了模型压缩与优化提速，提高了检测精度和速度；在此基础上提出一种基于Otsu 阈值分割、腐蚀面积与颜色加权腐蚀率识别的分级评估算法，对缺陷分类网络检测的腐蚀目标框区域，采用Otsu阈值分割与数学形态学方法对腐蚀区域进行分割，通过像素点法统计得到腐蚀区域面积，并根据被腐蚀部分颜色深浅设置权重因子，计算其与腐蚀目标框区域面积之比为加权腐蚀率，参考ASTM标准进行腐蚀分级评估，同时根据相关等级建议需要重新油漆的区域，降低腐蚀扩展和截面损失的概率。
2）、利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估，能够提高检测效率，提升检测结果科学性和准确性，同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替，可以有效预防并控制事故的发生，减少人员和设备财产的损失，对促进企业安全生产具有重要意义。
附图说明
图1为实施例一中高空钢结构腐蚀的无人机视觉检测与评价方法流程图。
图2为实施例一中利用改进 YOLOV3 深度神经网络模型对某大型钢结构表面腐蚀缺陷的检测结果。
图3为某钢结构腐蚀缺陷识别图像；其中，图3（a）为深度神经网络模型检测出的腐蚀目标框1图，图3（b）为目标框1腐蚀区域分割识别结果图；图3（c）为深度神经网络模型检测出的腐蚀目标框2图，图3（d）为目标框2腐蚀区域分割识别结果图；图3（e）为深度神经网络模型检测出的腐蚀目标框3图，图3（f）为目标框3腐蚀区域分割识别结果图；图3（g）为深度神经网络模型检测出的腐蚀目标框4图，图3（h）为目标框4腐蚀区域分割识别结果图；图3（i）为深度神经网络模型检测出的腐蚀目标框5图，图3（j）为目标框5腐蚀区域分割识别结果图；图3（k）为深度神经网络模型检测出的腐蚀目标框6图，图3（l）为目标框6腐蚀区域分割识别结果图。
图4为本发明高空钢结构腐蚀的无人机视觉检测与评价系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一：
如图1所示，高空钢结构腐蚀的无人机视觉检测与评价方法，包括如下步骤：
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置，全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像；
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块；
步骤三、利用改进YOLOV3深度神经网络分类模型，通过K-means聚类方法自动生成锚框的尺寸，对高空钢结构图像中箱型梁、工字梁及桁架等三维复杂钢结构表面腐蚀缺陷进行快速检测分类，并标出腐蚀目标框区域；
步骤四、采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积，根据被腐蚀部分颜色深浅设置权重因子，计算腐蚀面积与腐蚀目标框区域面积之比为加权腐蚀率，并参考ASTM标准进行腐蚀分级评估。
步骤五、当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加训练数据集的样本数量，提高检测识别精度。
在本实施例中，所述步骤三中，通过K-means聚类方法实现anchor聚类，生成锚框的尺寸，具体步骤如下：
（1）输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T：
（1）
其中 ,表示第i个腐蚀目标框区域边界框的实际宽度，表示第i个腐蚀目标框区域边界框的实际高度；n为所有腐蚀目标框区域的数目；
（2）从T中随机选取m个元素作为初始聚类中心：
（2）
其中，是T的子集，i、j、m、n均为正整数，且m小于等于n；
（3）计算T中各元素到簇中心的交并比，如下：
（3）
设；
则；
（4）计算新的聚类中心：，其中；；
（5）如果新的聚类中心与原聚类中心相同，则算法终止并输出步骤（4）的计算结果作为最终的聚类中心，即为更新后的锚框尺寸，否则返回步骤（3）。
在本实施例中，结合图2，步骤（1）的n为6，m为4。
在本实施例中，还对YOLOV3算法进行了以下改进：使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干，删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层，从而减少检测时间，增加两个特征连接路径，充分利用从网络中提取的特征，通过多尺度滑动窗口搜索法，对钢结构图像中是否存在腐蚀缺陷进行定性检测；采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率，当概率大于设定阈值0.8时，则认定该缺陷为腐蚀缺陷，然后用目标框标出缺陷，并标注缺陷类别及概率值。
如图2所示，自动检测出了钢结构图像中的6处腐蚀缺陷，并采用矩形框进行了标注，同时标注出了缺陷类别和概率，图中用rust表示腐蚀，数值表示为类型缺陷的概率，分别为0.944、0.960、0.977、0.934、0.960和0.938，均大于设定阈值0.8。
在本实施例中，所述所述步骤三中，改进YOLOV3深度神经网络分类模型训练步骤如下：
（1）构建高空钢结构腐蚀缺陷训练数据集：大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥、船体等大型设备钢结构的腐蚀图像和没有腐蚀的正常图像，采用翻转、平移、角度旋转等方式增强该数据集，通过图库管理和标注软件，多端口人工进行图像样本的信息标注，构建训练数据集；
（2）深度神经网络学习：对于改进的YOLOV3深度神经网络分类模型，利用训练数据集进行学习，根据公式（4）计算所有训练数据的损失函数的总和，然后通过多次学习的方式使损失函数的总和E最小，寻找最优的模型参数，最终得到最佳的腐蚀缺陷分类模型；
（4）
式中，训练数据个数为R个，表示第l个训练数据的第k个元素值，表示神经网络的输出。
在本实施例中，所述步骤四中，采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，如图3所示，其中，图3（a）为深度神经网络模型检测出的腐蚀目标框1图，该腐蚀目标框为图2中左上角位置标出的腐蚀目标框，图3（b）为目标框1腐蚀区域分割识别结果图，图中黑色部分为腐蚀区域；图3（c）为深度神经网络模型检测出的腐蚀目标框2图，该腐蚀目标框为图2中左下角位置标出的腐蚀目标框，图3（d）为目标框2腐蚀区域分割识别结果图图3（e）为深度神经网络模型检测出的腐蚀目标框3图，该腐蚀目标框为图2中间偏上位置标出的腐蚀目标框，图3（f）为目标框3腐蚀区域分割识别结果图；图3（g）为深度神经网络模型检测出的腐蚀目标框4图，该腐蚀目标框为图2中间位置标出的腐蚀目标框，图3（h）为目标框4腐蚀区域分割识别结果图；图3（i）为深度神经网络模型检测出的腐蚀目标框5图，该腐蚀目标框为图2中间偏下位置标出的腐蚀目标框，图3（j）为目标框5腐蚀区域分割识别结果图；图3（k）为深度神经网络模型检测出的腐蚀目标框6图，该腐蚀目标框为图2中右下角位置标出的腐蚀目标框，图3（l）为目标框6腐蚀区域分割识别结果图。然后利用像素点法统计腐蚀区域内占有像素数，得到腐蚀的像素面积，并计算腐蚀率A，所述腐蚀率A为腐蚀的像素面积与腐蚀目标框区域面积之比，如公式（5）：
（5）
分别得到图2中6个腐蚀目标框区域的原始图像面积、腐蚀区域像素面积和腐蚀率A，见表4。
在本实施例中，所述步骤四中，为更客观准确地评估腐蚀程度，可以根据被腐蚀部分颜色深浅设置权重因子，将颜色深浅程度划分为4个等级，即分为4个腐蚀区域，权重由重到轻分别设置为；计算加权腐蚀率，如公式（6）：
（6）
式中，S 1，S 2，S 3，S 4为不同颜色深浅腐蚀区域的像素面积。
权重设置步骤如下，首先提取腐蚀区域的灰度图像，获取其灰度直方图，然后对腐蚀部分像素灰度值从小到大进行排序，为腐蚀像素点坐标，得到灰度最小值和最大值，根据公式（7）设置每个腐蚀像素点的权重。
在本实施例中，图2中6个腐蚀目标框区域的灰度最小值，最大值，以及不同颜色深浅腐蚀区域面积S 1，S 2，S 3，S 4分别见表2。
在本实施例中，所述步骤四中，根据公式（6）-（7）计算得到加权腐蚀率，参考ASTM标准（见表3）对腐蚀框目标框1、2的腐蚀程度进行分级，分级结果如表4所示，并根据相关等级建议需要重新油漆的区域，以降低腐蚀扩展和截面损失的概率。
表2 腐蚀目标框区域灰度分布
表3 ASTM腐蚀性能等级
表4 腐蚀参数识别与分级结果
通过上述实施例，由图1、图2、图3（a）、图3（b）、图3（c）、图3（d）、图3（e）、图3（f）、图3（g）、图3（h）、图3（i）、图3（j）、图3（k）、图3（l）和表2、表3、表4得出，利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估，能够提高检测效率，提升检测结果科学性和准确性，同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替，可以有效预防并控制事故的发生，减少人员和设备财产的损失，对促进企业安全生产具有重要意义。
实施例二：
如图4所示，高空钢结构腐蚀的无人机视觉检测与评价系统，包括电讯连接的无人机飞行平台1、Camera Link工业相机2、边缘计算设备3、无线传输设备4、地面终端显示设备5和报警组件6。所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像，并通过Camera Link接口实时传递给边缘计算设备进行图像处理。
所述边缘计算设备3包括存储模块和图像处理模块。其中，所述存储模块用于存储无人机采集的待检测钢结构图像，并将图像传递给图像处理模块；所述图像处理模块对待检测图像进行图像数据处理，运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估，并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示，同时通过报警组件进行声光报警。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
