一种基于深度学习的矿用输送带大块物料检测方法及系统
技术领域
本发明涉及煤矿智能化
技术领域
，具体涉及一种基于深度学习的矿用输送带大块物料检测方法及系统。背景技术
我国是以煤为主要能源的国家，煤炭是我国能源消费的主体且短期内不会改变，煤炭工业能否健康、稳定发展事关我国能源安全和经济可持续发展。带式输送机是煤炭运输的关键设备，在煤炭运输中起着至关重要的作用。一旦带式输送机出现故障不能正常运转，煤矿的正常生产就将受到严重影响。输送带作为整个带式运输机系统的核心部件并且价格昂贵(据统计约占带式运输机运行成本的40％以上)，由于矿井下环境复杂恶劣，输送带上面的物料大小不一，再加上皮带本身的强度问题，在生产中很容易出现跑偏、打滑、断带以及纵向撕带的事故。这些事故的出现不仅会影响安全生产，而且会造成十分惨重的经济损失。
对这些输送带事故分析可以看出，输送带纵向撕裂在输送带损害中较易发生，并危害最为突出。其中，大部分的输送带纵撕问题是由于大块物料(如大块煤、大块矸石、锚杆等)进入运煤皮带系统对输送带压砸造成的。截至目前，大部分的输送带安全防护研究都是集中在输送带的纵向撕裂检测。输送带纵撕检测虽然能够检测出输送带纵撕的早期阶段并作出响应，减小输送带纵撕对矿井生产过程的影响，但是却不能在根本上预防输送带纵撕的发生。因此从输送带纵撕事故的原因出发，如果能在大块物料进入输送带运输系统的早期阶段，精确识别出大块物料并将其从系统中取出，则可以极大的预防其对输送带运输系统的损害，预防输送带纵撕，保障输送带运输系统的安全稳定运行。
此外，随着工业4.0的不断推进，煤炭综合自动化的不断进步，基于机器视觉的图像检测技术逐渐成为新的发展方向。机器视觉是一种利用光学元件、图像传感器等设备，自动对物体进行图像采集和相关处理的先进技术，其处理结果可以用于控制各种机械设备的工作情况。与各种传统技术相比，机器视觉技术具有非接触、经济、灵活、可靠等优点。如能在带式输送机运输系统中研究一种基于深度学习的矿用输送带大块物料检测方法对带式输送机进行大块物料检测，则可实现煤矿矿井带式输送机智能化监测的功能。同时，增加的输送带图像检测功能降低了岗位工人的劳动强度，提高了报警装置的灵敏度及准确性，保证了安全生产；另外，通过新增摄像机，岗位工人也可直接观察运输情况，更有利于观察与操作。
发明内容
针对大块物料对输送带运输系统的损害问题，本发明提出一种基于深度学习的矿用输送带大块物料检测方法及系统。
为了实现上述技术目的，本发明采用如下技术方案：
一种基于深度学习的矿用输送带大块物料检测方法，包括如下步骤：
S1：通过防爆监控装置实时采集现场的输送带物料图像作为样本集；
S2：筛选出样本集中有块状物体的图像，对筛选后的图像进行预处理，然后对预处理后的图像进行目标标记，并将标记结果分类为训练集、验证集和测试集；
S3：构建基于深度学习的目标检测网络模型YOLOv3；
S4：将步骤S2中的训练集和验证集图像输入YOLOv3网络模型进行训练并对其参数进行微调，直至网络模型达到收敛状态，得到训练好的块状物料检测模型；
S5：将步骤S2中的测试集图像输入训练好的块状物料检测模型中，若图像中检测到的目标置信度Cconf大于80％，则说明输送带中出现了块状物料；
S6：判断块状物料是否为大块物料；
S7：若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。
优选地，步骤S1中防爆监控装置能够适应煤矿井下场景中对图像质量、流畅性的要求，而且监控画面能够完整获取到输送带的宽度部分。
优选地，步骤S2中，筛选出样本集中有块状物体的图像，对筛选后的图像进行检测区域截取，然后采用labelimg软件对检测区域截取后的图像进行目标矩形框标记，得到目标的坐标信息并存储在xml文件中，最后将标记结果分类为训练集、验证集和测试集。
优选地，步骤S4中，网络模型达到收敛状态的判定依据为训练集和验证集的loss函数达到收敛状态。
优选地，步骤S5中，目标置信度其中，为预测目标框Bpred和真实目标框Btruth的交集和并集之间的比值，Pr(object)表示预测目标框Bpred中是否存在检测目标，存在其值为1，反之则为0。
优选地，预测目标框Bpred和真实目标框Btruth的交集计算方法如下：
预测目标框Bpred位置和大小为(x1,y1,w1,h1)，真实目标框Btruth位置和大小为(x2,y2,w2,h2)，其中，x、y分别表示目标框中心点的横、纵坐标，w表示目标框的宽度，h表示目标框的高度；下标1、2分别对应预测目标框Bpred和真实目标框Btruth；
其中，wpxmin为预测目标框Bpred横坐标下界，wpxmax为预测目标框Bpred横坐标上界；
其中，wtxmin为真实目标框Btruth横坐标下界，wtxmax真实目标框Btruth横坐标上界；
计算wpxmin和wtxmin的最大值wx1，wx1＝max(wpxmin,wtxmin)；计算wpxmax和wtxmax的最小值wx2，wx2＝min(wpxmax,wtxmax)；若wx2-wx1<0，则此时Bpred和Btruth的横坐标没有交集，反之则说明Bpred和Btruth的横坐标存在交集；
其中，wpymin为预测目标框Bpred纵坐标下界，wpymax为预测目标框Bpred纵坐标上界；
其中，wtymin为真实目标框Btruth纵坐标下界，wtymax真实目标框Btruth纵坐标上界；
计算wpymin和wtymin的最大值wy1，wy1＝max(wpymin,wtymin)；计算wpymax和wtymax的最小值wy2，wy2＝min(wpymax,wtymax)；若wy2-wy1<0，则此时Bpred和Btruth的纵坐标没有交集，反之则说明Bpred和Btruth的纵坐标存在交集；
进而求得Bpred和Btruth的相交区域。
优选地，步骤S6判断块状物料是否为大块物料的方法如下：对防爆监控装置进行标定，得到物料目标实际尺寸与图像尺寸之间的关系；之后计算块状物料的长、宽，只要长、宽有一个量超过预定阈值，则可以判定为大块物料。
优选地，得到物料实际尺寸与图像尺寸之间的关系的具体步骤如下：得到一个在输送带上正常运行的物料的实际尺寸为L1；通过防爆监控装置将其摄取后得到该物料的图像，计算出该物体在图像中的尺寸为M1；在此后的计算中，只需计算出新物料的图像尺寸M，便可以根据公式得到实际的物料尺寸L。
本发明还提出一种矿用输送带大块物料检测的系统，包括大块物料检测模块、信息显示模块、数据管理模块、报警控制模块、系统设置模块，所述大块物料检测模块对矿用输送带上的大块物料进行检测，并将检测结果进行存储；所述信息显示模块将防爆监控装置采集到的视频内容实时显示在软件平台界面上，并显示防爆监控装置是否配置成功、数据管理功能是否正常、系统报警与控制功能是否开启、大块物料检测模块检测到的异常信息结果；所述数据管理模块通过Mysql数据库管理软件完成数据通讯、数据处理、数据查询和数据统计；所述报警模块根据大块物料的异常状况，发出声光报警信息或者控制输送带的启停；所述系统设置模块对防爆监控装置的设备名称、IP地址、检测类型及用户的账号密码信息进行设置，用于监控检测装置及用户的登录操作。
与现有技术相比，本发明的有益效果：
(1)本发明能能够对监控区域进行实时监控，不需要人进行巡视，减少人力成本；并且当输送带中出现大块物料时，能够在第一时间发出警报提醒现场工作人员，具有及时性和有效性优点。
(2)本发明克服了传统图像检测方法对物料目标和其运输背景因灰度十分相近而难以准确区分的缺陷，提出的一种基于深度学习的矿用输送带大块物料检测方法对预防矿用输送带纵撕和纵撕扩大、维持带式运输机安全运行、确保煤矿企业稳定生产具有重要的社会意义和经济价值，并具有广阔的市场推广前景。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域中的普通技术人员来说，在不付出创造性劳动的前提下，还可根据这些附图获得其他附图。
图1为本发明检测方法流程图；
图2(a)为YOLOv3网络模型训练集loss函数；
图2(b)为YOLOv3网络模型验证集loss函数；
图3为YOLOv3网络模型中Bpred和Btruth的交集类型；
图4为YOLOv3网络模型中Bpred和Btruth交集计算方法；
图5为检测系统总体设计框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
1.一种基于深度学习的矿用输送带大块物料检测方法，其特征在于，包括如下步骤：
S1：通过防爆监控装置实时采集现场的输送带物料图像作为样本集；
选取的防爆监控装置能够适应煤矿井下场景中对图像质量、流畅性的不同要求，并且安装位置要满足监控画面能够完整获取到输送带的宽度部分。具体的选取和安装参数如下：防爆监控装置拍摄的图片分辨率为1920×1080、支持TCP/IP、HTTP、FTP等大多数网络协议、传输速率为10/100Mbps、水平视场角为89°、帧率为25fps、快门速度为1/3秒至1/100,000秒。实际输送带宽度为1.2m，受煤矿工作现场空间狭小所制，防爆监控装置安装在输送带正上方1.55m处，可得到防爆监控装置摄取的图片真实长度约为3.1m×1.75m。输送带运行速度为4m/s。
S2：筛选出样本集中有块状物体的图像，对筛选后的图像进行检测区域截取，然后采用labelimg软件对检测区域截取后的图像进行目标矩形框标记，得到目标的坐标信息并存储在xml文件中，最后将标记结果分类为训练集、验证集和测试集。具体的过程如下：
筛选的图像取自不同的获取时间和不同的输送带位置；
图像的检测区域截取采用矩形区域截取的方式，矩形区域的左上角点和右下角点分别为(0,442)和(1080,1548)，得到的图像分辨率为1106×1080；
将检测区域截取后的图像导入到labelimg软件，通过画矩形框的方式将图像中明显存在的块状物料目标进行标出，并将其类别名称设置为block，最后以PASCALVOC的格式对数据进行存储，得到保存着原始图像和标注框等各种信息的XML文件；
实验中通过标注一共获得的块状物料目标检测数据集样本数量为784，其中，训练集的样本数量和验证集的样本数量设置为9:1，将训练集样本数量设置为540，则验证集样本数量为60，测试集样本数量为184。
S3：构建基于深度学习的目标检测网络模型YOLOv3；
构建YOLOv3的检测流程为首先将原始图像的尺寸大小进行重新调整，将所得的图像在YOLOv3网络结构中进行输入；之后运行YOLOv3网络，得到预测了目标的位置大小、置信度以及所属的种类信息的边界框；最后对获得的边界框进行筛选，将多余的预测结果信息进行清除，得到最终的目标检测结果。
S4：将步骤S2中的训练集和验证集图像输入YOLOv3网络模型进行训练并对其参数进行微调，直至网络模型达到收敛状态，得到训练好的块状物料检测模型；网络模型达到收敛状态的判定依据为训练集和验证集的loss函数达到收敛状态。具体的实现过程如下：
实验平台所用计算机配置为AMDR7-3800XCPU，内存32G，RTX2070GPU，显存16G，操作系统为Windows10，编程语言为python3.8，深度学习框架为pytorch；
训练的Epochs设置为100，前50个Epochs冻结预训练模型的参数，只对最后一层分类层进行训练，后50个Epochs对所有参数进行更新，前50个Epochs的batchsize设置为8，后50个Epochs的batchsize为4，前50个Epochs设置学习率lr为0.001，后50个Epochs设置学习率lr为0.0001；
对YOLOv3模型进行训练时，如图2所示，训练集和验证集的loss函数都稳定的呈下降趋势，最终两个loss函数都能降到5以下。
S5：将步骤S2中的测试集图像输入训练好的块状物料检测模型中，若图像中检测到的目标置信度Cconf大于80％，则说明输送带中出现了块状物料。
目标置信度其中，为预测目标框Bpred和真实目标框Btruth的交集和并集之间的比值，Pr(object)表示预测目标框Bpred中是否存在检测目标，存在其值为1，反之则为0。
如图3所示，预测目标框Bpred和真实目标框Btruth之间按照相对位置可能会出现完全包含、部分相交、互不相交等情况。如图4所示，预测目标框Bpred和真实目标框Btruth的交集计算方法如下：
预测目标框Bpred位置和大小为(x1,y1,w1,h1)，真实目标框Btruth位置和大小为(x2,y2,w2,h2)，其中，x、y分别表示目标框中心点的横、纵坐标，w表示目标框的宽度，h表示目标框的高度；下标1、2分别对应预测目标框Bpred和真实目标框Btruth；
其中，wpxmin为预测目标框Bpred横坐标下界，wpxmax为预测目标框Bpred横坐标上界；
其中，wtxmin为真实目标框Btruth横坐标下界，wtxmax真实目标框Btruth横坐标上界；
计算wpxmin和wtxmin的最大值wx1，wx1＝max(wpxmin,wtxmin)；计算wpxmax和wtxmax的最小值wx2，wx2＝min(wpxmax,wtxmax)；若wx2-wx1<0，则此时Bpred和Btruth的横坐标没有交集，反之则说明Bpred和Btruth的横坐标存在交集；
其中，wpymin为预测目标框Bpred纵坐标下界，wpymax为预测目标框Bpred纵坐标上界；
其中，wtymin为真实目标框Btruth纵坐标下界，wtymax真实目标框Btruth纵坐标上界；
计算wpymin和wtymin的最大值wy1，wy1＝max(wpymin,wtymin)；计算wpymax和wtymax的最小值wy2，wy2＝min(wpymax,wtymax)；若wy2-wy1<0，则此时Bpred和Btruth的纵坐标没有交集，反之则说明Bpred和Btruth的纵坐标存在交集；进而求得Bpred和Btruth的相交区域。
S6：判断块状物料是否为大块物料；步骤S6判断块状物料是否为大块物料的方法如下：对防爆监控装置进行标定，得到物料目标实际尺寸与图像尺寸之间的关系；之后计算块状物料的长、宽，只要长、宽有一个量超过预定阈值，则可以判定为大块物料。得到物料实际尺寸与图像尺寸之间的关系的具体步骤如下：得到一个在输送带上正常运行的物料的实际尺寸为L1；通过防爆监控装置将其摄取后得到该物料的图像，计算出该物体在图像中的尺寸为M1；在此后的计算中，只需计算出新物料的图像尺寸M，便可以根据公式得到实际的物料尺寸L。
S7：若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。
本发明还提供一种矿用输送带大块物料检测的系统，如图5所示，包括大块物料检测模块、信息显示模块、数据管理模块、报警控制模块、系统设置模块，所述大块物料检测模块采用步骤S1-S6的检测步骤对矿用输送带上的大块物料进行检测，并将检测结果进行存储；所述信息显示模块将防爆监控装置采集到的视频内容实时显示在软件平台界面上，并显示防爆监控装置是否配置成功、数据管理功能是否正常、系统报警与控制功能是否开启、大块物料检测模块检测到的异常信息结果；所述数据管理模块通过Mysql数据库管理软件完成数据通讯、数据处理、数据查询和数据统计；所述报警模块根据大块物料的异常状况，发出声光报警信息或者控制输送带的启停；所述系统设置模块对防爆监控装置的设备名称、IP地址、检测类型及用户的账号密码信息进行设置，用于监控检测装置及用户的登录操作。
