具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请以风机叶片缺陷智能识别为背景，以风机叶片缺陷为研究对象，系统深入地研究视觉检测和超声检测融合识别。提出风机叶片缺陷智能识别的理论框架和计算模型，突破多维度风机叶片缺陷检测的关键技术，构建典型风电场的“健康保障”系统。具体包括：以无人机作为搭载工具，合理布局超声波检测设备，视觉检测设备以及5G通讯设备，可以使整个无人机系统能够快速，平稳，安全的到达风机叶片(以下可简称为叶片)，从而开展叶片缺陷检测工作。利用5G技术以及云端数据库，实时将采集到的数据传输到边缘计算模块(如移动客户端)，进行叶片缺陷自动检测，提高检测效率。为了提高检测设备的环境适应性以及叶片缺陷检测的精确度，将视觉探测和超声波探测技术相融合，形成一种复合检测叶片缺陷的方案。基于CNN(Convolutional Neural Networks，卷积神经网络)深度学习算法原理，建立视觉检测以及超声波检测自学习机制，从而提高系统处理数据的速度和准确度。

在一个实施例中，如图1所示，提供了一种风机叶片缺陷检测系统，系统包括：无人机102、边缘计算模块104和云服务器106，边缘计算模块104分别与云服务器106和无人机102连接；

边缘计算模块104响应风机叶片缺陷检测指令，发送采样消息至无人机102，无人机102响应采样消息，从边缘计算模块104获取飞行路径、并根据飞行路径对风机叶片进行采样，得到风机叶片超声波检测数据和风机叶片图像数据，将风机叶片超声波检测数据和风机叶片图像数据发送至边缘计算模块104，边缘计算模块104根据风机叶片超声波检测数据和风机叶片图像数据进行风机叶片缺陷检测，得到风机叶片缺陷检测结果，并将风机叶片超声波检测数据、风机叶片图像数据和风机叶片缺陷检测结果发送至云服务器106(以下可简称云端)。

以下将无人机102简称为无人机、边缘计算模块104简称为边缘计算模块，将云服务器106简称为云服务器。本实施例中，边缘计算模块可称为边缘计算网关，边缘计算模块是指靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的模块，本实施例中，边缘计算模块设置于无人机上。具体实施时，可以是操作员登录本地客户端的“风机叶片缺自动识别系统”，于该系统进行系统操作，生成风机叶片缺陷检测指令，本地客户端响应该风机叶片缺陷检测指令，发送采样消息至无人机，无人机响应该采样消息，识别采样消息中携带的目标采样点，通过自身搭载的视觉相机和超声波探测器对目采样点进行巡检采样，得到风机叶片图像数据和风机叶片超声波检测数据，并将采集到的风机叶片图像数据和风机叶片超声波检测数据发送至边缘计算模块，边缘计算模块通过超声波扫查成像软件读取风机叶片超声波检测数据，根据风机叶片超声波检测数据和风机叶片图像数据进行风机叶片缺陷检测，得到风机叶片缺陷检测结果，并将风机叶片超声波检测数据、风机叶片图像数据和风机叶片缺陷检测结果发送至云服务器。除此之外，还可以将叶片位置和叶片缺陷检测结果传输至云端。本申请中数据传输均可以采用5G技术。本实施例中，边缘计算模块可以是根据预设的卷积神经网络进行风机叶片缺陷检测，得到风机叶片缺陷检测结果。在另一个实施例中，云服务器还可以根据需要更新边缘计算网关侧的历史数据集和CNN深度学习算法，不断提高缺陷识别的准确度。

上述风机叶片缺陷检测系统，摒弃传统的人工检测的方式，设计包括无人机、边缘计算模块和云服务器的风机叶片缺陷检测系统，通过无人机对风机叶片进行全方位巡检，获取风机叶片超声波检测数据和风机叶片图像数据，利用边缘计算模块的数据处理能力，由边缘计算模块根据风机叶片超声波检测数据和风机叶片图像数据进行叶片缺陷检测，实现风机叶片缺陷的远程检测，减轻云服务器的数据承载负荷和数据处理压力，大大缩短缺陷检测时间，提高检测效率；并且，不再单一地从图像处理角度根据风机叶片表面图像数据进行缺陷识别，而采用视觉检测与超声波检测技术相结合的方式，根据风机叶片超声波检测数据和风机叶片图像数据进行叶片缺陷检测，如此，能够全面地对叶片缺陷程度进行识别，提高了叶片缺陷程度检测的准确度。综上所述，采用上述系统能够实现高效且准确风机叶片缺陷检测。

在一个实施例中，无人机还用于将实时的飞行位置数据发送至边缘计算模块，边缘计算模块还用于根据飞行位置数据对飞行路径进行实时纠偏、并将纠偏后的飞行路径发送至无人机。

具体实施时，无人机在飞行过程中，会实时记录飞行轨迹的飞行位置数据，飞行位置数据包括GPS(Global Positioning System,全球定位系统)点信息，朝向以及视觉相机采集到的视觉信息，并将飞行位置数据发送至边缘计算模块，边缘计算模块根据飞行位置数据对飞行路径做实时纠偏，并将纠偏后的飞行路径发送至无人机，使得无人机根据形成的飞行路径完成整个检测过程的自主飞行。

在一个实施例中，云服务器还用于基于风机叶片超声波检测数据、风机叶片图像数据和预设的风机叶片状态预测输出值，结合预设的马氏距离的故障预警判据，进行风机叶片故障预警。

在实际应用中，云端还用于存储各风机的叶片状态，实现历史数据的追踪与记录。受复杂多变的环境因素影响，风电机组各部件性能会在运行中逐渐下降，最终导致部件发生故障。而对风电机组部件进行故障预警则可提前发现隐患，有利于优化维护计划，避免因部件故障延误而导致更加严重的整机故障。传统的叶片故障预警方法有振动分析及声学分析等，但这些方法需要采集高频率的振动数据或额外安装高成本附加设备或者传感器，导致难以广泛应用于风场中。本实施例中，提供一种风机叶片故障预警方案。云端在接收到叶片缺陷检测结果，以及风机叶片超声波检测数据、风机叶片图像数据之后，可根据预设的马氏距离的故障预警判据，进行风机叶片故障预警。

在一个实施例中，云服务器还用于将风机叶片超声波检测数据和风机叶片图像数据输入至已训练的风机叶片故障预测模型中，得到风机叶片状态实际输出值，根据风机叶片状态实际输出值和预存的风机叶片状态预测输出值，结合基于马氏距离的故障预警判据，进行风机叶片故障预警。

本实施例中，提出基于CNN神经网络和叶片参数概率分布的故障预警方式，具体包括叶片正常行为建模和故障预警。叶片正常行为建模包括：为保证训练数据的一致性与连续性，对训练数据进行异常数据滤除。同时为了避免输入参数重复使用与数据冗余，采用逐步回归算法获取神经网络输入参数，获取叶片参数相关性较大的输入参数。由于CNN网络具有强大的非线性映射功能，故无需单独建模，选取相关参数，建立叶片正常行为模型，然后，正常行为模型结合基于马氏距离的数据统计方法，形成故障预警判据，计算故障分布概率。具体包括：首先，将历史叶片图像数据和历史叶片超声波检测数据输入至已训练的叶片故障预测模型，结合得到叶片状态预测输出值，预设好叶片状态预测输出值，并拟合正常工况下的威布尔概率密度函数：

其中，β是形状参数，η是比例参数。然后，针对预警阶段，将边缘计算模块实时监控得到的风机叶片超声波检测数据和风机叶片图像数据输入至已训练的风机叶片故障预测模型中，得到风机叶片状态实际输出值，计算风机叶片状态实际输出值和预存的风机叶片状态预测输出值的误差，然后计算预警状态下的马氏距离，马氏距离的计算可依据以下公式：

X_newi＝[Error，A]

其中，Error表示风机叶片状态实际输出值和预存的风机叶片状态预测输出值的误差，A表示预警阶段下的风机叶片状态实际输出值，u表示X_newi的均值向量，表示X_newi的协方差矩阵；i＝1，2，...，n，n表示样本个数。

通过预警阶段计算得到的马氏距离值MD_newi，再根据正常工况下拟合的威布尔概率密度函数可计算f(MD_newi)，而后，可知当f(MD_newi)<0.01时，可以判断当前数据异常，实现风机叶片的故障预警。

在一个实施例中，风机叶片缺陷检测结果包括风机叶片内部缺陷检测结果和风机叶片外部缺陷检测结果；边缘计算模块还用于将风机叶片超声波检测数据输入至已训练的超声波风机叶片缺陷检测模型进行风机叶片内部缺陷检测，得到风机叶片内部缺陷检测结果，将风机叶片图像数据输入至已训练的视觉风机叶片缺陷检测模型进行风机叶片外部缺陷检测，得到风机叶片外部缺陷检测结果，其中，超声波风机叶片缺陷检测模型和视觉风机叶片缺陷检测模型基于风机叶片出厂测试数据和历史风机叶片图像数据训练得到。

本申请所需的叶片数据主要包含裂纹、砂眼、内部脱胶等特征数据。在实际应用中，超声波风机叶片缺陷检测模型和视觉风机叶片缺陷检测模型基于CNN原理设计，训练模型的数据集主要从3个方面进行采集：1)和风电场合作，利用无人机在实际风电场巡检过程中拍摄的历史风机叶片图像作为原始图像，通过风机叶片专家判定，将原始图像分为有损伤和正常两类，作为原始样本纳入云端数据库；2)收集风机叶片出厂测试数据，将厂家对叶片进行的风机叶片出厂超声测试数据和风机叶片出厂图像数据作为有用样本纳入云端数据库；3)网络收集，从风电叶片权威论坛上通过筛选获取部分有用数据作为样本纳入云端数据库。然后，对不同深度的缺胶、不同深度的褶皱、不同深度的夹杂三种实际模型下的缺陷情况进行A扫波形采集，将其中70％作为训练集，30％作为测试集，输入原始CNN模型进行训练，得到超声波风机叶片缺陷检测模型。根据历史风机叶片正常图像数据和历史风机叶片损伤图像数据，构建数据集，将其中70％作为训练集，30％作为测试集，输入原始CNN模型进行训练。得到视觉风机叶片缺陷检测模型。在具体实施时，将风机叶片超声波检测数据输入至已训练的超声波风机叶片缺陷检测模型进行风机叶片内部缺陷检测，将风机叶片图像数据输入至已训练的视觉风机叶片缺陷检测模型进行风机叶片外部缺陷检测，实现叶片内部缺陷检测和叶片外部缺陷检测的同时检测，提高检测准确度。

在一个实施例中，风机叶片超声波检测数据包括风机叶片超声波扫描图像数据；边缘计算模块还用于将风机叶片超声波扫描图像数据输入至已训练的超声波风机叶片缺陷检测模型进行缺胶检测、褶皱检测以及夹杂检测，得到风机叶片内部缺陷检测结果。

风机叶片超声波检测数据包括风机叶片超声波扫描图像数据和超声波数据，风机叶片超声波扫描图像数据包括风机叶片C扫描图或其他类型的扫描图，其根据超声波成像软件得到，本实施例中，风机叶片超声波扫描图像数据以C扫描图为例。内部缺陷检测包括缺胶检测、褶皱检测以及夹杂检测，超声波风机叶片缺陷检测模型对风机叶片超声波扫描图像数据进行分类检测，得到包括不同程度的缺胶检测结果、褶皱检测结果和夹杂检测结果。本实例中，基于深度CNN原理设计的包括缺胶检测、褶皱检测以及夹杂检测的超声波探伤检测，大大提高了叶片损伤的准确度。

在一个实施例中，风机叶片图像数据包括风机叶片裂纹图像数据；边缘计算模块还用于将风机叶片裂纹图像数据输入至已训练的视觉风机叶片缺陷检测模型，提取风机叶片裂纹图像数据的风机叶片特征数据，对风机叶片特征数据进行裂纹检测，得到风机外部缺陷检测结果。

风机叶片图像数据包括风机叶片裂纹图像数据和无人机采集的风机叶片原始图像数据等。具体实施时，对风机叶片特征数据进行裂纹检测包括进行边缘开裂检测、雷击损伤检测、表面裂纹检测和局部脱落检测，得到的外部缺陷检测结果包括边缘开裂、雷击损伤、表面裂纹和局部脱落检测中的至少一种，以及缺陷尺寸和缺陷位置。本实施例中，通过视觉风机叶片缺陷检测模型进行外部缺陷检测，能够快速且准确得到缺陷检测结果，节省人工巡检的人力和财力。

在一个实施例中，边缘计算模块将风机叶片图像数据输入至已训练的视觉风机叶片缺陷检测模型之前，还包括：对风机叶片裂纹图像数据进行图像去雾、图像去噪和/或图像增强。

在风机叶片裂纹图像采集和传输过程中，很可能会产生噪声数据，噪声数据会造成图像质量差进而影响后续裂纹的识别。而在实际风机叶片裂纹图像采集过程中，雾天环境下或者存在较大的光线强弱变化时，会导致风机叶片裂纹图像的清晰度变差，进而在图像生成和传输过程中增加了图像噪声的随机性。因此，为了提高裂纹检测的准确度，本实施例中，对风机叶片裂纹图像进行包括图像去雾、图像去噪和/或图像增强的图像预处理。

在一个实施例中，边缘计算模块对风机叶片裂纹图像数据进行图像去雾包括：采用暗通道先验去雾算法对风机叶片裂纹图像数据进行图像去雾。

具体实施时，可以是采用暗通道先验去雾算法进行图像去雾，采用上述方式能够有效减少雾天环境对风机叶片裂纹图像的干扰，还原风机叶片裂纹图像的颜色和能见度。

在一个实施例中，边缘计算模块对风机叶片裂纹图像数据进行图像去噪包括：采用中值滤波算法对风机叶片裂纹图像数据进行图像去噪。

风机叶片裂纹图像采集过程中易受成像和传输设备的干扰而产生随机噪声。具体实施时，可以是采用中值滤波算法对风机叶片裂纹图像数据进行图像去噪，实现图像去噪的同时保留裂纹边缘。

在一个实施例中，边缘计算模块对风机叶片裂纹图像数据进行图像增强包括：采用分段线性灰度增强方法对风机叶片裂纹图像数据进行图像增强。

具体实施时，可以是采用分段线性灰度增强方法对风机叶片裂纹图像数据进行图像增强，该方法能够改善风机叶片裂纹图像的视觉效果，提高风机叶片裂纹图像的清晰度。

应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。