一种基于YOLOv3的新型太阳能电池板热斑检测方法
技术领域
本发明提出一种基于YOLOv3的新型太阳能电池板热斑检测方法，解决太阳能电池板热斑检测受颜色纹理相似背景干扰的问题，提高对电池板热斑检测的精确度和速度。属于太阳能电池
技术领域
。背景技术
由于地球的自传，太阳高度角会发生周期性的变化，这就使得边框会在太阳能板上产生周期性的阴影遮。被遮挡的单体太阳能板和其它正常(未被遮挡)太阳能板之间性能不匹配，此时被遮挡太阳能板的电流会变小并带上负电压，即在电路中转变成了负载。随后该太阳能板开始不断消耗其它太阳能板产生的功率，并将能量转变成热能，导致以此太阳能板为中心的区域温度不断升高。长此以往，当温度升高到一定程度时，该太阳能板会受到损坏，受损的区域被称作热斑，上面所述的就是热斑现象。如果不能及时的检测出热斑并换掉问题组件，热斑区域会越变越大；直至热斑效应产生的温度过高，将太阳能板上的焊点熔化并毁坏栅线，最终导致整组太阳能板被毁坏且不可修复。但是为了表明太阳能板能够在规定的条件下长期使用，需通过合理的方法和技术对太阳能板进行检测。
最早提出的太阳能板热斑检测方法，是一种测量伏安特性曲线法，由于没有考虑温度和光照强度等环境因素，因此该方法只适用于检测太阳能板上一些简单的缺陷。除此之外，该方法最大的弊端就是不能确定缺陷的具体位置。CTCT (complex total crosstied array)结构法是由程泽、李兵峰等人提出一种光伏阵列的连接方式。CTCT结构法极大的提高了热斑检测的准确性，但是大量电流传感器的安装工程既繁琐也得花费很多成本。基于红外图像的热斑检测是一种快速准确且不需要直接测量太阳能板参数的方法。该方法就是先用红外热像仪拍摄太阳能板，再对采集到的红外图像进行图像分析，若出现某部分温度显示有明显差异，则表示该部分是故障部分。将红外图像检测技术应用到对太阳能板的热斑检测，最早的研究者要追溯到20世纪末的King.D.L研究员。本发明在红外图像技术的基础上引进了YOLOv3技术可以更快更精确的检测出热斑的位置。
发明内容
本发明提供了一种基于YOLOv3的新型太阳能电池板热斑检测方法。本发明的目的是这样实现的：
(1)太阳能电池板红外图片预处理
具体步骤：
步骤1)图像的平移转换
图像的平移变换就是将图中所有像素坐标分别加上指定的水平偏移量和垂直偏移量。平移变换的矩阵表示为：
由式(1)可推算出平移变换的坐标映射关系为：
x＝x0+dx
y＝x0+dy (2)
式中dx、dy分别是水平偏移量和垂直偏移量。
步骤2)图像的镜像转换
图像的镜像变换主要分为两种：水平镜像和垂直镜像。以图像垂直中线为轴，水平镜像就是将图像左半部分和右半部分的像素坐标进行对称变换。垂直镜像变换也是对图像进行像素的对称变换，不过垂直镜像变换是以水平中线为轴进行像素坐标的对称变换。
水平镜像变换的映射关系如下：
转换为矩阵表示为：
式(4)中width为图像的宽度。同理，设图像的高度为height，则垂直镜像变换的映射关系如下：
则矩阵表示为：
步骤3)图像的缩放
图像的缩放主要用于改变图像的大小，且进行缩放变换后图像的宽度或高度会发生一定的变化。在图像的缩放转换中，作为参数的水平缩放系数和垂直缩放系数至关重要。水平缩放系数是用于控制水平像素的缩放比例，当水平缩放系数等于1时，图像的宽度保持不变；当水平缩放系数小于1时，图像的宽度变小，图像在水平方向被压缩；相反，当水平缩放系数大于1时，图像的宽度变大即在水平方向被拉伸。垂直缩放系数与水平缩放系数作用相似，只不过是作用在垂直方向上。在实际运用缩放变换时，需要保持原始图像的宽度与高度的比例变化一致，即水平缩放系数与垂直缩放系数的取值要相同，这样在图像在进行缩放变换时就不会变形了。缩放变换的坐标映射关系如下：
转换为矩阵表示为：
式(9)中Sx和Sy分别是水平缩放系数和垂直缩放系数
(2)距离图片中心最近的太阳能电池板位置获取
具体步骤：
步骤1)构建电池板特征提取网络Darknet-53提取输入图像特征，充分提取图像浅层特征信息；
步骤2)将YOLOv3的4尺度检测融合提取的浅层特征信息，构建多尺度特征金字塔网络(Feature Pyra-mid Network，FPN)；
这种结构将这些特征连接起来，以便检测大范围尺度的图像。该结构的左侧为自下而上的前馈网络，其由多组卷积网络组成，用于特征提取；右侧是一个自顶向下的过程，通过与左侧路径侧向连接，增强高层特征。该路径具体是利用上采样来保持与左侧尺寸一致的。
步骤3)利用K-means算法生成anchor box，根据损失函数做bounding box回归和多标签分类，利用随机梯度下降法优化求解模型；
YOLOv3的损失函数由3部分组成：
目标置信度损失：
目标分类的损失：
目标定位的两个损失：
公式(13)是深度神经网络中损失函数对权重求导的通用公式，其中L为损失函数；wij是网络中的权重参数；nodej是深度神经网络中神经元的部分；是深度神经网络中输出值的导数；xij是深度神经网络中输入值。公式(14)是目标定位损失中x坐标定位部分损失函数链式求导后的权重更新公式，其中Llocx为 YOLOv3中x坐标偏移损失函数；是深度神经网络中输出值的导数。
步骤4)用预训练后的网络模型对输入图片提取特征，送入到简化后的YOLO 网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象。
通过K-means聚类方法在待训练的数据集里面统计目标框的长和宽，通过观察选择k个初始聚类中心点，逐一计算所有数据对象到各个聚类中心点的距离，之后将数据对象分配给距离最短的集合。本发明采用的是选取合适的IOU分数，根据IOU和anchor box的关系，采用4个尺度的12个anchor box分别为(12,26)， (15,45)，(24,23)，(29,51)，(33，81)，(35,54)，(46,100)，(54,67)，(87,105)，(105,170)， (150,245)，(165,321)；采用极大值抑制法(NMS)根据分类器的类别分类概率做排序，通过迭代形式，不断以最大得分的框去与其他框做IOU操作，过滤那些IOU 较大的框，一直重复进行，标记完所有要保留下来的矩形框，去除冗余候选，预测最优的目标对象。
步骤5)用曼哈顿距离计算每个目标对象到整个图片的中心距离，记录下最近的的左上角和右下角坐标。
c＝|x1-x2|+|y1-y2|
(3)基于YOLOv3太阳能电池板热斑检测
1)构建热斑特征提取网络Darknet-53提取输入图像特征，充分提取图像浅层特征信息；2)将YOLOv3的3尺度检测融合提取的浅层特征信息，构建多尺度特征金字塔网络；3)利用K-means算法生成12个anchor box，根据损失函数做 bounding box回归和多标签分类，利用随机梯度下降法优化求解模型；4)用预训练后的网络模型对输入图片提取特征，送入到简化后的YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象。
具体做法同步骤(2)
(4)基于曼哈顿距离计算保留在记录的太阳能电池板范围的热斑
本发明的效果在于：通过所发明的方法可以精确地检测太阳能电池板上的热斑能够有效的解决了传统检测模式受背景纹理、环境光照、不同图片调参问题，提高对目标检测的精确度和速度，一定程度上避免训练神经网络出现的过拟合现象。
附图说明
..图1为本发明基于YOLOv3的太阳能电池板热斑检测方法的流程图
具体实施方式
下面对本发明方法的实施过程进行描述：
(1)太阳能电池板红外图片预处理
具体步骤：
步骤1)图像的平移转换
图像的平移变换就是将图中所有像素坐标分别加上指定的水平偏移量和垂直偏移量。平移变换的矩阵表示为：
由式(1)可推算出平移变换的坐标映射关系为：
式中dx、dy分别是水平偏移量和垂直偏移量。
步骤2)图像的镜像转换
图像的镜像变换主要分为两种：水平镜像和垂直镜像。以图像垂直中线为轴，水平镜像就是将图像左半部分和右半部分的像素坐标进行对称变换。垂直镜像变换也是对图像进行像素的对称变换，不过垂直镜像变换是以水平中线为轴进行像素坐标的对称变换。
水平镜像变换的映射关系如下：
转换为矩阵表示为：
式(4)中width为图像的宽度。同理，设图像的高度为height，则垂直镜像变换的映射关系如下：
则矩阵表示为：
步骤3)图像的缩放
图像的缩放主要用于改变图像的大小，且进行缩放变换后图像的宽度或高度会发生一定的变化。在图像的缩放转换中，作为参数的水平缩放系数和垂直缩放系数至关重要。水平缩放系数是用于控制水平像素的缩放比例，当水平缩放系数等于1时，图像的宽度保持不变；当水平缩放系数小于1时，图像的宽度变小，图像在水平方向被压缩；相反，当水平缩放系数大于1时，图像的宽度变大即在水平方向被拉伸。垂直缩放系数与水平缩放系数作用相似，只不过是作用在垂直方向上。在实际运用缩放变换时，需要保持原始图像的宽度与高度的比例变化一致，即水平缩放系数与垂直缩放系数的取值要相同，这样在图像在进行缩放变换时就不会变形了。缩放变换的坐标映射关系如下：
转换为矩阵表示为：
式(9)中Sx和Sy分别是水平缩放系数和垂直缩放系数
(2)距离图片中心最近的太阳能电池板位置获取
具体步骤：
步骤1)构建电池板特征提取网络Darknet-53提取输入图像特征，充分提取图像浅层特征信息；
步骤2)将YOLOv3的4尺度检测融合提取的浅层特征信息，构建多尺度特征金字塔网络(Feature Pyra-mid Network，FPN)；
这种结构将这些特征连接起来，以便检测大范围尺度的图像。该结构的左侧为自下而上的前馈网络，其由多组卷积网络组成，用于特征提取；右侧是一个自顶向下的过程，通过与左侧路径侧向连接，增强高层特征。该路径具体是利用上采样来保持与左侧尺寸一致的。
步骤3)利用K-means算法生成anchor box，根据损失函数做bounding box回归和多标签分类，利用随机梯度下降法优化求解模型；
YOLOv3的损失函数由3部分组成：
目标置信度损失：
目标分类的损失：
目标定位的两个损失：
公式(13)是深度神经网络中损失函数对权重求导的通用公式，其中L为损失函数；wij是网络中的权重参数；nodej是深度神经网络中神经元的部分；是深度神经网络中输出值的导数；xij是深度神经网络中输入值。公式(14)是目标定位损失中x坐标定位部分损失函数链式求导后的权重更新公式，其中Llocx为 YOLOv3中x坐标偏移损失函数；是深度神经网络中输出值的导数。
步骤4)用预训练后的网络模型对输入图片提取特征，送入到简化后的YOLO 网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象。
通过K-means聚类方法在待训练的数据集里面统计目标框的长和宽，通过观察选择k个初始聚类中心点，逐一计算所有数据对象到各个聚类中心点的距离，之后将数据对象分配给距离最短的集合。本发明采用的是选取合适的IOU分数，根据IOU和anchor box的关系，采用4个尺度的12个anchor box分别为(12,26)， (15,45)(24,23)(29,51)，(33，81)，(35,54)，(46,100)，(54,67)，(87,105)，(105,170)， (150,245)，(165,321)；采用极大值抑制法(NMS)根据分类器的类别分类概率做排序，通过迭代形式，不断以最大得分的框去与其他框做IOU操作，过滤那些IOU 较大的框，一直重复进行，标记完所有要保留下来的矩形框，去除冗余候选，预测最优的目标对象。
步骤5)用曼哈顿距离计算每个目标对象到整个图片的中心距离，记录下最近的的左上角和右下角坐标。
c＝|x1-x2|+|y1-y2| (15)
(3)基于YOLOv3太阳能电池板热斑检测
1)构建热斑特征提取网络Darknet-53提取输入图像特征，充分提取图像浅层特征信息；2)将YOLOv3的3尺度检测融合提取的浅层特征信息，构建多尺度特征金字塔网络；3)利用K-means算法生成12个anchor box，根据损失函数做 bounding box回归和多标签分类，利用随机梯度下降法优化求解模型；4)用预训练后的网络模型对输入图片提取特征，送入到简化后的YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象。
(4)基于曼哈顿距离计算保留在记录的太阳能电池板范围的热斑
(5)实验验证
步骤1)获取太阳能电池板红外的图像，其中分为训练集和测试集，将实验数据集按照Pascal VOC数据集格式进行整理，按比例将数据分为训练集和测试集。本发明的特征提取网络Darknet-53具体步骤为：将输入输出大小都为208×208 的特征图之间的2次卷积操作和1次直连接改为4次卷积操作和2次直连接；将输入输出大小都为104×104的特征图之间的4次卷积操作和2次直连接改为12 次卷积操作和6次直连接；将输入输出大小都为52×52的特征图之间的16次卷积操作和8次直连接改为12次卷积操作和6次直连接；将输入输出大小都为26 ×26的特征图之间的16次卷积操作和8次直连接改为8次卷积操作和4次直连接；将输入输出大小都为13×13的特征图之间的8次卷积操作和4次直连接改为 4次卷积操作和2次直连接；过渡层为交替使用的1×1和3×3卷积层，使用1 ×1的卷积层有助于平滑提取的特征，避免下采样过程中丢失更多的特征信息。
步骤2)将YOLOv3的3尺度检测增加为4尺度，构成四个分支结构，输入尺寸为416×416，每个分支共享从ResNet网络中提取的特征，并对13×13,26×26,52 ×52分辨率的分支进行两倍上采样操作，将上采样后的特征层与浅特征层进行级联，在4个尺度的融合特征图上分别作独立的检测。改进后的多尺度融合可以从浅层特征层中学习较强的位置特征，融合上采样后的深层特征进行更确切的细粒度检测。相比YOLOv3网络原来的3尺度检测，本发明通过融合更多尺度的浅层特征信息，增强特征金字塔的表征能力，提升小目标的检测精度，降低漏检率，通过mAP(mean average precision)与迭代次数指标评估改进尺度前后的网络性能，其中precision精度，Recall召回率。
TP(True Positives)是“被分为正样本，并且分对了”，TN(True Negatives) 是“被分为负样本，而且分对了”，FP(False Positives)是“被分为正样本，但是分错了”，FN(False Negatives)是“被分为负样本，但是分错了”。
步骤3)利用K-means算法生成12个anchor box，根据损失函数做bounding box回归和多标签分类；采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象，具体步骤为：通过K-means聚类方法在待训练的数据集里面统计目标框的长和宽，通过观察选择k个初始聚类中心点，逐一计算所有数据对象到各个聚类中心点的距离，之后将数据对象分配给距离最短的集合。本发明采用的是选取合适的IOU分数，根据IOU和anchor box的关系，采用4个尺度的12个anchor box 分别为(12,26)，(15,45)，(24,23)，(29,51)，(33,81)，(35,54)，(46,100)，(54,67)， (87,105)，(105,170)，(150,245)，(165,321)；采用极大值抑制法(NMS)根据分类器的类别分类概率做排序，通过迭代形式，不断以最大得分的框去与其他框做IOU 操作，过滤那些IOU较大的框，一直重复进行，标记完所有要保留下来的矩形框，去除冗余候选，预测最优的目标对象。
本实验中，通过对太阳能电池板红外图片检测两种热斑(直线型、圆型)的 mAP指标为Line＝92％、Circle＝85％。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种配电柜的圆形指示灯定位与状态识别方法
