一种基于Faster R-CNN的古建筑砖面缺陷检测方法
技术领域
本发明属于图像处理与计算机视觉领域，涉及一种基于Faster R-CNN的古建筑砖面缺陷检测方法，本质上就是利用卷积神经网络对图像像素点进行分类的问题。
背景技术
目前大多数缺陷检测算法是根据应用场景对缺陷特征参数进行手工设定，然后直接分类或者通过机器学习算法再分类。这种有监督机器学习算法在缺陷检测中存在一定的局限性，由于图片中缺陷的种类以及形状等的不同，人为提取特征时需要检测人员具有很强相应的专业性，而且检测效果不理想，鲁棒性差，因而不能很好地适用于砖面缺陷的检测。
近年来随着计算机视觉的迅猛发展，其在工业、农业、社会生活等领域中的应用也越来越广泛。比如在包裹分拣过程中，针对地址中的手写体识别需要使用深度学习对其进行识别，卷积神经网络CNN作为深度学习的一个重要分支，在手写体识别领域已经发展为一个成熟的网络。
基于深度学习的古建筑砖面缺陷检测可以降低缺陷检测的成本，不受地点和时间的限制，可以极大提升检测精度和效率，同时也能更好地保障检测人员安全。目标检测领域有许多性能优异的算法，本发明以在Pascal VOC数据集上表现性能佳、精度较高、检测速度均衡的Faster R-CNN算法为基础，针对古建筑砖面缺陷特点，提出了一种改进型的FasterR-CNN算法，提高了砖面缺陷检测的精度，获得了不错的检测效果，为古建筑砖面缺陷检测提供了有效的方法。
发明内容
本发明提出了一种基于Faster R-CNN的古建筑砖面缺陷检测方法，技术方案如下：
一种基于Faster R-CNN的古建筑砖面缺陷检测方法，具体实现步骤如下：
一、卷积特征提取：Faster R-CNN使用卷积层获取输入图片的特征；使用池化层在保证特征不变的情况下，降低特征图尺寸；该特征图与ReLu计算后，用于后续的待测框生成和预测概率计算；使用可变形卷积解决古建筑砖面缺陷形状的不规则性。
二、RPN：RPN的作用是产生待测框，并将待测框与Softmax函数计算判断待测框中是否包含目标，然后使用边界框回归修正锚框的大小和位置，获得比较精准的候选框。本发明重新设置模型中的锚框尺寸和比例，使模型更适用于自建的古建筑砖面缺陷数据集；使用Soft-NMS代替NMS算法，避免因为待选框和对比框的IoU大于阈值，而待选框的得分强制归零的现象，也避免了由此造成的某一物体的漏检情况。
三、ROIPooling：该层将特征图和RPN产生的待测框整合，得到包含高置信度待测区域的特征图，进而送入全连接层，对待测区域包含的目标类别和预测值进行计算。
四、分类和回归：判别候选区域的具体类别，同时再次使用边界框回归方法获得预测框最终位置。
本发明提出的基于Faster R-CNN的古建筑砖面缺陷检测的方法，包括输入图像处理、提取输入图像特征、生成候选区域、对候选区域进行筛选、分类与回归等步骤。首先，对输入图像进行缩放等预处理操作；然后通过卷积神经网络对输入图像提取特征；其次对提取的特征图进行前景与背景的二分类，并且筛选出置信度较高的候选框；最后使用全连接网络对预测框进行分类和位置回归。本发明提出的古建筑砖面缺陷检测方法具有较高的精度和效率，可以应用到实际中。
附图说明
图1为本发明的整体结构图。
图2为古建筑砖面数据集中标签的宽(左图)、高(中图)和宽高比例(右图)统计。
图3为Soft-NMS示意图。
图4为检测结果示意图。
具体实施方式
本发明提出了一种适用于古建筑砖面缺陷检测的方法，以Faster R-CNN为基础，采用ResNet-101为提取特征的网络框架。算法的总体框架如图1所示。首先使用ResNet-101的卷积部分对输入图像进行提取特征，在提取特征的同时加入可变形卷积来应对不规则的缺陷特征，将生成的特征图分别输入RPN和ROIPooling层。在RPN中使用设计的锚框尺寸和比例生成候选框，Softmax分类器将锚框分为前景和背景，同时通过Soft-NMS算法剔除不符合要求的候选框，降低模型的漏检率。最后通过Proposal层将锚框与调整后的边界回归信息进行整合，获得更准确的预测框的位置信息，然后再经过ROIPooing层将特征图固定到统一的大小以便后续的分类和回归。最后通过分类回归层输出缺陷的预测概率和分类结果。本发明主要包括以下几个核心模块：
一、卷积特征提取：卷积提取特征主要是对输入图像提取特征，提取的特征包括目标轮廓、颜色等低层次特征信息，以及能够包含目标完整组件信息的高层次特征信息。卷积提取特征的效果会直接影响到RPN和ROIPooling对候选框的分类和位置回归结果。因此需要提高Faster R-CNN对原图像提取特征的能力，输入到RPN的特征图才会包含更加丰富的特征信息。
二、RPN:RPN调整特征图结构之后与Softmax计算得到特征图的预测概率，分为前景或者背景；同时计算锚框的边界回归的偏移量，获得精确的目标区域。然后将两者结合输入到Proposal层，整合目标预测值最高的锚框和与之对应的待测框的坐标及其偏移量得到更加精准的目标区域，即边界框回归。边界框回归是找到一种关系使前景的锚框经过映射后更接近真实框的位置和大小。待测区域包含四个参数(x,y,w,h)，其中x，y用来表示锚框的中心位置坐标，w，h表示锚框的长鹤宽。假设前景的锚框表示为A＝(Ax,Ay,AW,Ah),目标的锚框即真实框为GT＝(Gx,Gy,Gw,Gh)，研究的目标就是找到一种变化关系F，使得F(Ax,Ay,AW,Ah)＝(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx,Gy,Gw,Gh)。为了找到这种映射关系，先对A做平移然后进行缩放，平移如式(1)所示，缩放如式(2)所示：
三、ROIPooling：ROIPooling层有两个输入，一个是CNN计算生成的特征图，另外一个是RPN输出的大小各不相同的目标区域的候选框。该层的作用是综合两个输入的信息生成最终大小相同的候选区域。
四、分类和回归：分类和回归将对在RPN得到的特征图进行计算。分类部分将特征图送入全连接层和Softmax，来计算每个待测框的预测种类与该种类的预测值，并将计算得到的输出目标分类(cls_pred)的结果作为预测的概率向量进行输出；回归部分将特征图进行边界框回归来获得每个待测区域中心点的位置及其偏移量(bbox_pred)。图4是检测结果样例。
