具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以下结合实施例详细阐述本发明的内容。

本发明提供一种用于风机叶片检测的无人机系统，能够实现提高检测效率和识别准确率，降低无人机与风机叶片撞击的风险，延长无人机和风机叶片的使用寿命。

参照图1所示为本实施例提供的一种用于风机叶片检测的无人机系统的结构示意图。

本实施例中，所述无人机系统包括：

包括控制单元、通讯单元、用于对被检测风机叶片进行热成像图像采样进行采样的第一无人机，以及用于对被检测风机叶片进行高清图像采样的第二无人机。

所述第一无人机包括控制器以及与控制器间控制相连的热成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和热成像采样信号，并根据无人机控制信号和热成像采样信号控制第一无人机飞抵指定位置对被检测风机叶片进行热成像图像采样。

所述第二无人机包括控制器以及与控制器间控制相连的高清成像相机，控制器通过所述通讯单元接收所述控制单元的无人机控制信号和高清成像采样信号，并根据无人机控制信号和高清成像采样信号控制第二无人机飞抵指定位置对被检测风机叶片进行高清图像采样。

所述控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并向第二无人机的控制器发出控制指令，控制第二无人机飞抵指定位置，对被检测风机叶片缺陷位置进行高清图像采样，并对高清图像进行处理，将从热成像图像中识别出的风机叶片缺陷位置标记在高清图像上。

所述控制单元用于根据预设其中的缺陷检测模型检测所述热成像图像，当检测出所述热成像图像存在缺陷时，所述控制处理模块进一步通过所述通讯单元发送控制指令至所述第二无人机、并控制所述高清相机获取风机叶片至指定位置或与第一无人机采样时的同一位置的高清图像；所述控制单元进一步用于将所述热成像图像及其对应的高清图像打标并存储于所述存储器中。

控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：

步骤1，对热成像图像进行图像增广处理，增加热成像图像的数据量；具体的，所述步骤1中，对所述热成像图像进行图像增广处理包括：对所述热成像图像进行翻转、裁剪和变换颜色处理，能够实现对图像质量的改善，以便于计算分析，提高模型的泛化能力，还可以防止模型过拟合，从而导致检测精度降低。优选的，所述对所述热成像图像进行翻转是将热成像图像进行左右上下翻转；所述变换颜色处理是将同一张热成像图像的颜色饱和度进行变换形成若干张颜色饱和度不同的热成像图像；所述裁剪是对热成像图像不同位置(如右下部分或者左上部分)进行剪裁。

步骤2，对经过步骤1图像增广处理后的热成像图像进行二值化处理，然后通过高斯滤波处理消除热成像图像中的高斯噪声，然后对高斯滤波处理后的图像再进行线性灰度增强处理；高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程，通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。给定一张黑白图片，该图片可能黑白并不分明，整个图片最黑的像素点的像素值可能并没有达到0，而最白的像素点的像素值可能并没有达到255，换句话说，这张黑白图像的像素并不均匀，整体的像素值集中在某一块区域，因此需要进行线性的像素，因此，所述步骤2中，所述线性灰度增强处理，是将高斯滤波处理后的图像中最黑的像素点像素值调整为0、将最白的像素点像素值调整为255，将其他的像素点的像素值根据其与最黑和/或最白的像素点间的颜色深度比值进行线性调整，比值比率和线性度可以根据先验阈值设定和调整。

优选的，所述步骤2中进行高斯滤波处理，具体的，是采用二维高斯分布对经过步骤1图像增广处理后的热成像图像中的特征变量x和y进行高斯滤波处理，其中，σ是可调参数，σ的大小决定高斯函数的宽度，G(x，y)表示关于x和y的高斯函数，x代表像素点的灰度值，y代表通过高斯函数计算后的灰度值。

进一步的，所述步骤2中进行线性灰度增强处理，具体的，是通过灰度线性变换函数对所述经过高斯滤波处理后的图像中的特征变量x和y进行线性灰度增强处理，其中，g(x，y)表示关于(x，y)的线性变换函数，其灰度范围为[c，d]，前述高斯函数是先处理图像的噪声，线性变换函数再对图像内的像素进行线性扩展，f(x，y)为线性变换函数转换前的热成像图像灰度值，其灰度范围为[a，b]。

步骤3，对经过步骤2处理的图像进一步进行图像锐化处理，得到图像增强模型。优选的，所述步骤3中是采用scharr算子进行图像锐化处理，采用scharr算子进行图像锐化处理，能够更加凸显图像的边缘细节，从而提高计算精度，为了能够有效的提取出较弱的边缘，需要将像素值间的差距增大，因此引入Scharr算子，Scharr算子是对Sobel算子差异性的增强，因此两者之间的在检测图像边缘的原理和使用方式上相同，charr算子的边缘检测滤波的尺寸为3×3，因此也有称其为Scharr滤波器，可以通过将Scharr算子中的权重系数放大来增大像素值间的差异，Scharr算子就是采用的这种思想，其在二值化图像的X方向和Y方向的边缘检测算子

或者，所述步骤2中，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，具体的，包括以下步骤：

风机叶片提取步骤，获取待检测风机叶片的热成像图像，获取的热成像图像中应当有风机叶片且叶片清晰，对所述热成像图像进行图像进行分割并提取热成像图像中风机叶片边缘区域，根据风机叶片的边缘区域提取热成像图像中的风机叶片图像；

优选地，所述风机叶片提取步骤中，根据风机叶片的边缘区域提取热成像图像中的风机叶片，是根据风机叶片的边缘区域所在位置，将热成像图像中的边缘区域以外的背景去除，提到得到图像中的风机叶片图像。

具体的，所述风机叶片提取步骤中，获取待检测风机叶片的热成像图像后，对热成像图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后将每一个图格的中间与根据先验阈值设定的属于风机叶片边缘区域图格的灰度判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘区域的图格，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。

风机叶片边缘确定步骤，将所述风机叶片提取步骤中提取的风机叶片图像边缘区域进行灰度值求导，并根据灰度值求导结果确定风机叶片边缘的像素点，提取得到风机叶片的边缘。

具体的，所述风机叶片边缘确定步骤中，首先对风机叶片图像进行二值化处理，然后对二值化处理后的图像逐个像素点进行灰度值求导处理，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘像素点的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的像素点，即构成热成像图像中风机叶片的边缘。

更进一步的，所述风机叶片边缘确定步骤中对热成像图像的灰度值进行求导，具体的，是对对热成像图像进行二值化处理后，对经过二值化处理的热成像图像设立二维坐标系，并将热成像图像中每个像素点都用二维坐标(x，y)来表示，一张图像有x方向和y方向也可以称为(x，y)坐标，求导只能求一个方向，所以建立二维的(x，y)两个方向的导数对应二值化的像素点，任意方向的导数超过设定值都可以判定该点为边缘点，然后利用梯度公式计算每一个像素点的梯度的模，对应得到每一个像素点灰度值的变换率，其中，整体的梯度f的长度为M(x，y)，则其中分别表示在x方向上求导和早y方向上求导，灰度值的变换率即为灰度值求导的结果，对应的，所述灰度求导判定阈值为设定的变换率值。

当然，出于节省算力、降低实现成本、或者针对于进度要求没有那么高的使用场景而言，所述风机叶片边缘确定步骤中，还可以是，对风机叶片图像进行二值化处理、以及将二值化处理后的热成像图像划分为N*n个图格，哪一步先进行都可以，其中N和n是可以根据设计需求和精度要求进行调整的，原则是划分的每一个图格尺寸不小于每个像素点，然后对每一个图格的中间灰度值进行求导，并将灰度值求导的结果与根据先验阈值设定的风机叶片边缘图格的灰度求导判定阈值进行比较，判定热成像图像中所有属于风机叶片边缘的图格，所有判定出的图格即围成热成像图像中风机叶片的边缘，其中，每一个图格的中间灰度值是指图格中所包含的所有灰度值中处于中位数或者比重最大的灰度值。

图像增强步骤，将所述风机叶片边缘确定步骤中提取的热成像图像的风机叶片边缘，进行邻域卷积处理，计算出风机叶片边缘每一个位置与其上下、左右相邻位置的灰度差，实现对风机叶片边缘的极值检测，去掉所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘中的伪边缘，得到图像增强模型。

所述图像增强步骤，是通过Prewitt算子对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘进行邻域卷积处理的，Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用，其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘，具体的：

是根据梯度值计算公式或者P(x_i,y_j)＝G(x_i)+G(y_j)来对所述风机叶片提取步骤中提取的热成像图像的风机叶片边缘每一个像素点进行处理，计算每一个像素点与其上下、左右相邻像素点间的灰度差，完成边缘像素点极值检测，其中，

G(x_i)＝|[f(x_i-1,y_j-1)+f(x_i-1,y_j)+f(x_i-1,y_j+1)]-[f(x_i+1,y_j-1)+f(x_i+1,y_j)+f(x_i+1,y_j+1)]|

G(y_j)＝|[f(x_i-1,y_j+1)+f(x_i,y_j+1)+f(x_i+1,y_j+1)]-[f(x_i-1,y_j-1)+f(x_i,y_j-1)+f(x_i+1,y_j-1)]|

i表示二维坐标系中第i行，j表示二维坐标系中第j列。

优选的，所述高清相机为设有云台的高清相机或双光摄像头相机，通过在第一无人机的高清相机设置有云台能够用于安装和固定支撑该高清相机，该云台为4108电机三轴微单云台，可挂载Sony等微单相机，最大负载800g，实现飞行过程中三轴增稳，避免所拍照片糊掉等状况。从而保证高清相机的自稳定性，也就是提高拍摄的稳像功能，并且还控制云台上的高清相机在空间方位的转动。第一无人机还包括用于给第一无人机进行供电的第一电池模块，该第一电池模块包括装载两块6S10000mah的电池，可实现热插拔。其中，所述第二相机为高清相机或热成像相机或双光摄像头相机。

在本实施例中，第一无人机主要通过搭载红外摄像头相机，负责拍摄风机叶片的热成像图像信息，也就是通过热成像相机拍摄风机叶片的热成像图像，从而能够直观显示热成像图像信息，快速找出风机叶片表面蒙皮脱落或者大裂纹等缺陷；通过设有云台的高清相机实现高清拍摄，采集风机叶片的高清图像信息并经过处理分析，找出细小裂纹等细微缺陷。

在本实施例中，第二无人机主要搭载TX2控制处理模块，TX2控制处理模块主要获取第一无人机拍摄的图像信息、云台位姿信息、获取第一无人机的坐标位置信息，并分析处理缺陷图像、控制第一无人机进行重复拍摄。具体负责观测周围环境，处理第一无人机拍摄的图像并输出表面缺陷信息，控制第一无人机对缺陷位置处拉近拍摄细节图像，从而实现确认该缺陷位置的过程，以提高风机叶片的检测精度。

在本方案中，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位，从而根据第一无人机对应风机叶片拍摄位置的位置信息分析缺陷在风机叶片的位置。

对应上述的无人机系统，本发明还提供了一种用于风机叶片检测的无人机系统及控制方法，包括以下步骤：

步骤1，控制单元通过通讯单元向第一无人机的控制器发送控制指令，控制第一无人机飞抵指定高度位置，然后通过通讯单元向第一无人机的控制器发送热成像采样信号，第一无人机的热成像相机对准被检测风机叶片进行热成像图像采样，并将采集到的风机叶片热成像图像通过控制器发送至控制单元；

步骤2，控制单元对所述第一无人机采集的被检测风机叶片的热成像图像进行处理，识别出风机叶片的缺陷位置，并根据风机叶片的缺陷位置生成第二无人机的控制指令；

步骤3，控制单元通过通讯单元向第二无人机的控制器发送步骤2生成的控制指令，控制第二无人机飞抵指定位置，然后通过通讯单元向第二无人机的控制器发送高清成像采样信号，第二无人机的高清成像相机对准被检测风机叶片的缺陷位置进行高清图像采样，并将采集到的风机叶片高清成像图像通过控制器发送至控制单元；

步骤4，控制单元对步骤3中采集到的高清图像进行处理，并将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像上。

所述步骤1中，所述第一无人机沿平行于风机叶片的长度方向进行飞行拍摄，且控制所述热成像相机与所述风机叶片的距离为1～3米，通过控制第一无人机沿平行于风机叶片的长度方向进行飞行拍摄以及控制热成像相机距风机叶片的拍摄距离设置在1～3米之间，不仅能够降低无人机在飞行过程中出现撞击风机的几率，还使得在所设置的拍摄距离内获得清晰精准的图像拍摄精度。若拍摄距离设置太远，会导致拍摄的图像不清楚、避免后期检测导致精度低；另外，太近距离拍摄时，无人机在飞行过程中容易出现撞击风机导致无人机和风机损坏。

优选的，所述步骤1中，所述第一无人机对被检测风机叶片进行热成像图像采样时，所述控制单元控制所述第二无人机同时获取风机叶片整体图像，其中，所述整体图像中包括含第一无人机对风机叶片进行热成像图像采样的图像。

进一步的，所述第一无人机和第二无人机均还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机和第二无人机的位置信息，所述第一无人机和第二无人机在进行热成像图像采样和高清图像采样时，同时将第一无人机和第二无人机的位置信息标记在热成像图像和高清图像中，所述步骤4中，将步骤2中从热成像图像中识别出的风机叶片缺陷位置标记在风机叶片高清图像的过程中，还包括根据热成像图像和高清图像中的位置信息对热成像图像和高清图像的比例进行统一调整定位。

在本实施例中，其中，所述第一无人机还包括RTK定位模块，通过所述RTK定位模块可获得所述第一无人机的位置信息，通过第一无人机中的RTK定位模块对第一无人机进行实时定位，以可获得第一无人机的位置信息，从而根据所获得第一无人机的位置信息可进一步分析风机叶片的拍摄位置的位置信息，从而获得更加精准的图像位置信息，并通过通讯单元将第一无人机获取的热成像图像信息传输至控制单元。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。