火焰检测方法、装置、计算机设备和存储介质

文档序号:8481 发布日期:2021-09-17 浏览:24次 英文

火焰检测方法、装置、计算机设备和存储介质

技术领域

本发明属于图像处理

技术领域

,具体提供一种火焰检测方法、装置、计算机设备和存储介质。

背景技术

火灾是一种能够造成重大人员伤亡和财产损失的灾害。根据应急管理部消防救援局的统计数据显示,2021年一季度全国共接报火灾17.6万起,接报火灾死亡433人、受伤249人、直接经济损失13.9亿元。虽然火灾会给人民的生命财产带来重大损失,但与其他灾害相比,火灾具有一定的可调控性,而要实现这种可调控性就需要在火灾发生早期及时发现火灾并采取补救措施,即能够对火焰进行及时检测。

传统的火焰检测方法主要是基于烟雾传感器、光学传感器、红外传感器、热敏传感器等实现的。但是,这种基于传感器的火焰检测方法在检测时间、检测范围等方面具有较大的局限性,并且通常无法提供火灾的详细信息,如火焰大小、燃烧程度等。此外,热成像相机也可用于检测火灾,但是热成像摄像机与普通摄像机相比成本太高,难以推广。

随着监控摄像机在公共区域的应用,通过截取监控摄像机的视频图像,自动地检测火焰已成为技术发展的趋势,但是计算机火焰检测的方法通常是基于颜色空间的规则学习来完成,这种基于规则的方法泛化性较差,容易受到光照、亮度等因素的影响,且对与火焰颜色相近的物体难以区分。因此,如何能够快速、准确地通过监控视频的图像检测火焰,已经成为本领域亟待解决的问题。

相应地,本领域需要一种新的方案来解决上述问题。

发明内容

本发明旨在解决上述技术问题,即,解决监控视频图像检测火焰应用中,基于颜色空间规则学习的火焰检测方法存在的泛化性能差、易受干扰等问题。

在第一方面,本发明提供一种火焰检测方法,所述方法包括:

获取第一检测图像;

检测所述第一检测图像,得到所述第一检测图像中的火焰框,所述火焰框的信息包括火焰置信度;

计算所述火焰框的火焰颜色分值;

计算所述火焰框的火焰运动分值;

根据所述火焰置信度、所述火焰颜色分值和所述火焰运动分值,计算所述火焰框的火焰度量指标;

比较所述火焰度量指标和火焰阈值,当所述火焰度量指标大于或等于所述火焰阈值时,判定所述第一检测图像中存在火焰,并且/或者,当所述火焰度量指标小于所述火焰阈值时,判定所述第一检测图像中不存在火焰。

在上述火焰检测方法的一个实施方式中,所述火焰度量指标的计算方法为:

Fire_Score=Conf*(w1YUV_Score+w2Motion_Score)

其中,Fire_Score为所述火焰度量指标,Conf为所述火焰置信度,YUV_Score为所述火焰颜色分值,Motion_Score为所述火焰运动分值,w1为所述火焰颜色分值的权值,w2为所述火焰运动分值的权值,且w1+w2=1。

在上述火焰检测方法的一个实施方式中,“计算所述火焰框的火焰颜色分值”的步骤具体包括:

对所述火焰框进行YUV颜色空间变换;

统计所述火焰框中满足火焰像素约束规则的像素总数,记作N_r;

计算所述火焰颜色分值,所述火焰颜色分值的计算公式为:

其中,N_All为所述火焰框中像素总数;

所述火焰像素约束规则包括:

规则r1:Y(x,y)>U(x,y)

规则r2:V(x,y)>U(x,y)

规则r3:

规则r4:|V(x,y)-U(x,y)|>τ,τ=40

其中,Y(x,y)、U(x,y)、V(x,y)分别表示坐标值为(x,y)的像素点在YUV颜色空间中Y分量、U分量、V分量的数值,N为所述火焰框x方向像素数量,N为所述火焰框y方向像素数量。

在上述火焰检测方法的一个实施方式中,“计算所述火焰框的火焰运动分值”的步骤具体包括:

获取所述第一检测图像的相邻帧图像,记作第二检测图像;

分别提取所述第一检测图像和所述第二检测图像中的火焰关键点;

匹配所述第一检测图像和所述第二检测图像中的火焰关键点,得到火焰关键点匹配对;

根据所述火焰关键点匹配对得到所述火焰关键点匹配对的变化角度;

根据所述火焰关键点匹配对的变化角度的分布情况,得到所述火焰运动分值。

在上述火焰检测方法的一个实施方式中,所述方法还包括:在判定所述第一检测图像中存在火焰的情况下,根据所述火焰框在所述第一检测图像中的面积占比,确定火灾等级。

在上述火焰检测方法的一个实施方式中,所述火焰框的信息还包括火焰位置;

所述方法还包括:向用户输出是否发生火灾、所述火灾等级、所述火焰位置中的至少一项。

在第二方面,本发明提供一种火焰检测装置,所述装置包括:

图像获取模块,所述图像获取模块被配置成获取第一检测图像和第二检测图像;

火焰检测模块,所述火焰检测模块被配置成检测所述第一检测图像,得到所述第一检测图像中的火焰框,所述火焰框的信息包括火焰置信度;;

火焰颜色度量模块,所述火焰颜色度量模块被配置成计算所述火焰框的火焰颜色分值;

火焰运动度量模块,所述火焰运动度量模块被配置成计算所述火焰框的火焰运动分值;

火焰度量模块,所述火焰度量模块被配置成执行以下操作:

根据所述火焰置信度、所述火焰颜色分值和所述火焰运动分值,计算所述火焰框的火焰度量指标;

比较所述火焰度量指标和火焰阈值,当所述火焰度量指标大于或等于所述火焰阈值时,判定所述第一检测图像中存在火焰,并且/或者,当所述火焰度量指标小于所述火焰阈值时,判定所述第一检测图像中不存在火焰。

在上述火焰检测装置的一个实施方式中,所述火焰度量指标的计算方法为:

Fire_Score=Conf*(w1YUV_Score+w2Motion_Score)

其中,Fire_Score为所述火焰度量指标,Conf为所述火焰置信度,YUV_Score为所述火焰颜色分值,Motion_Score为所述火焰运动分值,w1为所述火焰颜色分值的权值,w2为所述火焰运动分值的权值,且w1+w2=1。

在上述火焰检测装置的一个实施方式中,所述火焰颜色度量模块具体执行以下操作:

对所述火焰框进行YUV颜色空间变换;

统计所述火焰框中满足火焰像素约束规则的像素总数,记作N_r;

计算所述火焰颜色分值,所述火焰颜色分值的计算公式为:

其中,N_All为所述火焰框中像素总数;

所述火焰像素约束规则包括:

规则r1:Y(x,y)>U(x,y)

规则r2:V(x,y)>U(x,y)

规则r3:

规则r4:|V(x,y)-U(x,y)|>τ,τ=40

其中,Y(x,y)、U(x,y)、V(x,y)分别表示坐标值为(x,y)的像素点在YUV颜色空间中Y分量、U分量、V分量的数值,N为所述火焰框x方向像素数量,N为所述火焰框y方向像素数量。

在上述火焰检测装置的一个实施方式中,所述火焰运动度量模块具体执行以下操作:

获取所述第一检测图像的相邻帧图像,记作第二检测图像;

分别提取所述第一检测图像中的和所述第二检测图像中的火焰关键点;

匹配所述第一检测图像和所述第二检测图像中的火焰关键点,得到火焰关键点匹配对;

根据所述火焰关键点匹配对得到所述火焰关键点匹配对的变化角度;

根据所述火焰关键点匹配对的变化角度的分布情况,得到所述火焰运动分值。

在上述火焰检测装置的一个实施方式中,所述装置还包括火灾等级判别模块,所述火灾等级判别模块被配置成在判定所述第一检测图像中存在火焰的情况下,根据所述火焰框在所述第一检测图像中的面积占比,确定火灾等级。

在第三方面,本发明提出了一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项方案所述的火焰检测方法。

在第四方面,本发明提出了一种存储介质,所述存储介质适于存储多条程序代码,所述程序代码适于由处理器加载并运行以执行上述任一项方案所述的火焰检测方法。

在采用上述技术方案的情况下,本发明能够检测视频图像中的火焰框,并综合火焰框的火焰置信度、火焰颜色分值和火焰运动分值,得到火焰度量指标,从而判断图像中是否存在火焰。通过本发明,可以有效提升纯视觉火焰检测的泛化性能和抗干扰能力,实现火灾发生初期的快速检测和定位,为快速应对火灾提供数据支持,从而降低人民生命和财产损失。同时,本发明的方法可以利用现有的视频监控设备,实施成本低,具有极高的推广价值。

附图说明

下面结合附图来描述本发明的优选实施方式,附图中:

图1是本发明的实施例的火焰检测方法的主要步骤流程图。

图2是图1中的步骤S104的具体实现流程图。

图3是本发明的火焰关键点匹配对的变化角度的示意图。

图4是本发明的火焰检测装置组成结构的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图,对本发明实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

首先阅读图1,图1是本发明的实施例的火焰检测方法的主要步骤流程图。如图1所示,本发明的火焰检测方法包括:

步骤S101:获取第一检测图像;

步骤S102:检测第一检测图像,得到第一检测图像中的火焰框,火焰框的信息包括火焰置信度;

步骤S103:计算火焰框的火焰颜色分值;

步骤S104:计算火焰框的火焰运动分值;

步骤S105:根据火焰置信度、火焰颜色分值和火焰运动分值,计算火焰框的火焰度量指标;

步骤S106:比较火焰度量指标和火焰阈值,判断第一检测图像中是否存在火焰。

在步骤S101中,第一检测图像通常来自于视频监控录像中截取的图像。

并且,根据选用的火焰框检测方法的不同,所需的第一检测图像的格式、大小等要求也存在差异,因此,对于视频截取的图像,通常需要根据目标检测算法的要求,对图像进行缩放、填充、存储格式转换、归一化等处理中的一种或多种的组合,以得到符合火焰框检测方法输入格式要求的第一检测图像。

需要说明的是,本发明中的第二检测图像的获取方法与第一检测图像的获取方法相同,且第一检测图像和第二检测图像的图像格式也相同。

在步骤S102中,检测第一检测图像中火焰框的方法本发明不作限定,作为示例,可选用基于深度学习的目标检测算法,如YOLOV5、SSD算法等,本领域技术人员可根据实际情况选择合适的方法实现。

在火焰框检测结果中,可能得到一个或多个火焰框信息,火焰框信息通常包括该火焰框的火焰置信度和该火焰框在第一检测图像中的位置。作为示例,可在第一检测图像中建立像素坐标系,坐标系原点通常选在图像的左上角。火焰框通常使用矩形框,则火焰框可表示为Qn(x,y,w,h,Conf),x和y为矩形框左下角在像素坐标系中的坐标,w为矩形框的宽度值,h为矩形框的高度值,Conf为该区域的火焰置信度值,火焰置信度表示该区域存在火焰的可能性的大小,通常火焰置信度的数值越大,表示该区域存在火焰的可能性越大。

当第一检测图像中的多个火焰框存在相互包含或者大部分交叉的区域时,可通过非极大值抑制法进行筛选,去掉冗余的火焰框,保留置信度最高的一个。并且,可根据需要,通过设定火焰置信度阈值对火焰框进一步进行筛选,得到本发明所需的一个或多个火焰框。

在步骤S103中,首先需要对火焰框进行YUV颜色空间变换,再根据火焰像素约束规则,统计满足火焰像素约束规则的像素点的数量N_r,再根据公式

计算该火焰框的火焰颜色分值,其中N_All为火焰框中像素总数。

在步骤S103中,火焰像素约束规则包括:

规则r1:Y(x,y)>U(x,y)

规则r2:V(x,y)>U(x,y)

规则r3:

规则r4:|V(x,y)-U(x,y)|>τ,τ=40

其中,Y(x,y)、U(x,y)、V(x,y)分别表示坐标值为(x,y)的像素点在YUV颜色空间中Y分量、U分量、V分量的数值,N为所述火焰框x方向像素数量,M为所述火焰框y方向像素数量。

作为示例,某一火焰框图像的分辨率为200*300,即像素坐标系中,火焰框x方向像素数量N为200,火焰框y方向像素数量M为300,火焰框总的像素数量N_All=200*300=60000个,满足火焰像素约束规则的像素点的数量N_r为48000个,计算

继续阅读图2,图2是步骤S104的具体实现方法,其方法包括:

步骤S1041:获取第一检测图像的相邻帧图像,记作第二检测图像;

步骤S1042:分别提取第一检测图像和第二检测图像中的火焰关键点;

步骤S1043:匹配第一检测图像和第二检测图像中的火焰关键点,得到火焰关键点匹配对;

步骤S1044:根据火焰关键点匹配对得到火焰关键点匹配对的变化角度;

步骤S1045:根据火焰关键点匹配对的变化角度的分布情况,得到火焰运动分值。

在步骤S1041中,优选地,截取监控视频中与第一检测图像相邻的时间靠后一帧的图像,作为第二检测图像,从而根据火焰的运动属性进一步判断第一检测图像中是否存在火焰。

在步骤S1042中,第一检测图像和第二检测图像的火焰关键点的判断方法本发明不作限定,作为示例,可通过基于OpenCV的ORB算法提取火焰关键点,本领域技术人员可根据实际情况选择合适的方法实现。

在步骤S1043中,匹配第一检测图像和第二检测图像中的火焰关键点的方法本发明不作限定,作为示例,可通过基于OpenCV的SIFT算法,计算两幅图像关键点之间的欧氏距离进行匹配,本领域技术人员可根据实际情况选择合适的方法实现。

通过图3,说明步骤S1044中的火焰关键点匹配对的变化角度。如图3所示,点A1和点B1为第一检测图像中的火焰关键点,点A2和点B2为第二检测图像中的火焰关键点;经步骤S1043匹配后,得到火焰关键点匹配对(A1、A2)和(B1、B2);用直线连接火焰关键点匹配对,得到矢量作为示例,定义火焰关键点匹配对矢量与x轴正方向的夹角为火焰关键点匹配对的变化角度,则火焰关键点匹配对(A1、A2)的变化角度为矢量与x轴正方向的夹角α,火焰关键点匹配对(B1、B2)的变化角度为矢量与x轴正方向的夹角β。

在步骤S1045中,通过分析火焰框中全部火焰关键点匹配对的变化角度的分布情况,确定该火焰框的火焰运动分值。因为火焰变化的无序性,所以火焰关键点匹配对的变化角度的分布相对均衡。也就是说,火焰关键点匹配对的变化角度分布越均衡,则该火焰框的火焰运动分值越高;反之,火焰关键点匹配对的变化角度分布越集中,对应火焰框的火焰运动分值越低。

在步骤S1045中,计算火焰运动分值的方法本发明不作限定,作为示例,可通过统计火焰框中火焰关键点匹配对的变化角度的均值和方差,确定火焰框的火焰运动分值,本领域技术人员可根据实际情况选择合适的方法实现。

在得到火焰框的火焰置信度、火焰颜色分值和火焰运动分值后,通过步骤S105可以得到火焰框的火焰度量指标。优选地,火焰度量指标的计算方法如下:

Fire_Score=Conf*(w1YUV_Score+w2Motion_Score)

其中,Fire_Score为所述火焰度量指标,Conf为所述火焰置信度,YUV_Score为所述火焰颜色分值,Motion_Score为所述火焰运动分值,w1为所述火焰颜色分值的权值,w2为所述火焰运动分值的权值,且w1+w2=1。

在实际应用中,w1和w2的可根据监控现场的情况进行设置,为了及时发现火焰,可提高火焰颜色分值的权值w1;为了检测火焰变化的情况,可火焰运动分值的权值w2,本领域技术人员可通过训练,确定不同场景下合适的w1和w2的值。

在步骤S106中,可设置火焰阈值为0.5,第一检测图像中的全部火焰框的火焰度量指标与火焰阈值逐个进行比较,当第一检测图像中的火焰框的火焰度量指标大于或等于火焰阈值时,判定第一检测图像中存在火焰,并且/或者,当火焰度量指标全部小于火焰阈值时,判定第一检测图像中不存在火焰。

需要说明的是,本领域技术人员也可根据火焰框的火焰置信度、火焰颜色分值和火焰运动分值设计其他形式的火焰度量指标计算方法,如

FireScore=w1YUVScore+w2MotionScore+w3Conf

其中,w3为火焰置信度的权值,同样也可实现火焰的检测。在不偏离本发明的原理的前提下,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

在判定第一检测图像中存在火焰时,可以进一步计算全部存在火焰的火焰框在第一检测图像中的面积占比情况。例如,存在火焰的火焰框在第一检测图像中的面积占比达到70%以上时,可以判定为严重火灾。

并且,可以通过火焰框信息中的火焰框在第一检测图像的位置,并结合摄像机安装的地理位置,从而确定火焰发生的实际地理位置。

得到火焰检测结果后,可根据设定,通过屏幕显示、语音播报等形式,向用户输出是否发生火灾、火灾等级、火焰位置等信息。

进一步,本发明还提供了一种火焰检测装置。如图4所示,本发明的火焰检测装置4主要包括:图像获取模块41、火焰检测模块42、火焰颜色度量模块43、火焰运动度量模块44、火焰度量模块45和火灾等级判别模块46。

图像获取模块41被配置成获取第一检测图像和第二检测图像。火焰检测模块42被配置成执行步骤S102中的操作。火焰颜色度量模块43被配置成执行步骤S103中的操作。火焰运动度量模块44被配置成执行步骤S104和图2中步骤S1041至步骤S1045中的操作。火焰度量模块45被配置成执行步骤S105和步骤S106中的操作。火灾等级判别模块46被配置成在判定第一检测图像中存在火焰的情况下,根据火焰框在第一检测图像中的面积占比,确定火灾等级;并向用户输出:是否发生火灾、火灾等级、火焰位置等信息。

进一步,本发明还提供了一种计算机设备,该计算机设备包括处理器和存储装置,存储装置可以被配置成存储并执行上述方法实施例的火焰检测方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的火焰检测方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该火焰检测设备可以是包括各种电子设备形成的控制装置设备。

进一步,本发明还提供了一种存储介质,该存储介质可以被配置成存储执行上述方法实施例的火焰检测方法的程序,该程序可以由处理器加载并运行来实现上述火焰检测方法的方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该存储介质可以是包括各种电子设备形成的存储装置设备,可选地,本发明实施例中存储介质是非暂时性的计算机可读存储介质。

本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等序数词仅用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

需要说明的是,在本申请的描述中,术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!