黑烟船舶的识别方法、装置、介质及设备
技术领域
本发明涉及信息
技术领域
,尤其涉及一种黑烟船舶的识别方法、装置、 介质及设备。背景技术
船舶污染不容小觑,冒黑烟问题尤为突出。2019年,我国已划定船舶大 气污染物排控制区,进入控制区内的船舶应使用满足国家标准要求的燃油。 但是,仍有大量的船舶处于经济效益考虑,使用低廉劣质的不满足国家标准 要求的燃油,导致经常出现船舶冒黑烟的现象。
对于船舶冒黑烟的超标排放行为,现有技术采用登船检查方式,使用不 透光烟度计、便携式林格曼黑度检测仪等设备手工检测船舶黑烟含量,不仅 监测效率低下,而且自动化程度低,需要耗费大量的人力物力。
发明内容
本发明实施例提供了一种黑烟船舶的识别方法、装置、介质及设备,以 解决现技术在识别黑烟船舶时存在的自动化程度低、监测效率低的问题。
一种黑烟船舶的识别方法,包括:
按照预设的视野坐标控制摄像机进行区域巡航及检测船体信息;
若在区域巡航过程中检测到船体信息,则对所述船体信息进行跟踪,得 到跟踪视频;
对所述跟踪视频中的船体信息进行黑烟识别,获取黑烟船舶;
提取所述黑烟船舶的船体编码。
可选地,所述按照预设的视野坐标控制摄像机进行区域巡航及检测船体 信息包括:
设置摄像机巡航时的视野坐标,所述视野坐标覆盖船舶航行区域;
按照所述视野坐标控制所述摄像机以预设的时间间隔进行区域巡航;
在区域巡航的过程中,采用预设的第一神经网络对所述视野坐标下采集 到的视频帧信息进行船体信息检测。
可选地,所述在区域巡航的过程中,采用预设的第一神经网络对所述视 野坐标下采集到的视频帧信息进行船体信息检测包括:
遍历所述视野坐标下采集到的视频帧信息,对所述视频帧信息进行分割, 得到若干个图像块,其中,所述图像块为矩形且相邻图像块之间存在重叠区 域;
通过所述第一神经网络对每一图像块进行船体信息检测,生成图像块对 应的至少一个检测框;
将每一图像块对应的检测框汇集到所述视频帧信息上,对所述视频帧信 息上的检测框进行非极大值抑制操作nms,得到目标检测框;
根据所述目标检测框获取船体信息。
可选地,在对所述视频帧信息进行分割得到若干个图像块之前,所述识 别方法还包括:
对所述视频帧信息自适应填充黑边,以将所述视频帧信息缩放到统一尺 寸。
可选地,所述若在区域巡航过程中检测到船体信息,则对所述船体信息 进行跟踪,得到跟踪视频包括:
预先设置船体信息的目标范围;
若在区域巡航过程中检测到船体信息,则按照所述目标范围调整摄像机 的位置,以使船体中心点始终保持在所述目标范围内;
通过调整后的摄像机对所述船体信息进行跟踪,得到跟踪视频。
可选地,所述目标范围与视频画面的左边相距35%的视频画面宽度、与视 频画面的右边相距35%的视频画面宽度以及与视频画面的上边相距50%的视频 画面高度。
可选地,所述对所述跟踪视频中的船体信息进行黑烟识别,获取黑烟船 舶包括:
采用改进型时空动态高斯背景模型对所述跟踪视频中的每一视频帧信息 进行背景过滤,提取前景信息;
采用超分辨率算法对所述前景信息进行重建;
采用稠密光流算法对重建后的前景信息进行特征提取,得到光流特征;
采用局部二值模式LBP对重建后的前景信息进行烟雾提取,得到烟雾的 纹理特征;
采用长短期记忆网络对重建后的前景信息进行特征分类,得到若干个空 间特征;
将所述光流特征、纹理特征、空间特征输入至支持向量机SVM中进行黑 烟识别,获取黑烟船舶。
可选地,所述改进型时空动态高斯背景模型采用动态的学习率;
对所述跟踪视频中预设的帧数阈值之前的视频帧信息按照第一学习率来 学习,在帧数阈值之后的视频帧信息按照第二学习率学习;
其中,所述第一学习率大于所述第二学习率。
可选地,所述提取所述黑烟船舶的船体编码包括:
采用预设的第二神经网络对所述黑烟船舶进行坐标识别,获取船体编码 坐标;
根据所述船体编码坐标从所述视频帧信息中提取船体编码区块图,对所 述船体编码区块图中的字符区域进行校正;
对校正后的字符区域进行切割,得到若干个字符块;
采用多层感知器MLP网络对所述字符块进行识别,得到每一字符块对应 的字符信息;
组合所述字符信息,得到所述船体编码。
可选地,所述根据所述船体编码坐标从所述视频帧信息中提取船体编码 区块图,对所述船体编码区块图中的字符区域进行校正包括:
根据所述船体编码坐标从所述视频帧信息中提取船体编码区块图;
将所述船体编码区块图转换为二值化图像;
根据所述二值化图像计算所述船体编码区块图中的字符区域的水平偏斜 角和垂直偏斜角;
根据所述水平偏斜角和垂直偏斜角对所述船体编码区块图中的字符区域 进行校正。
可选地,所述对校正后的字符区域进行切割,得到若干个字符块包括:
对校正后的字符区域进行颜色空间变换,从彩色图转换为灰度图;
对所述灰度图进行二值化处理,得到字符区域的二值化图像;
对所述字符区域的二值化图像进行模糊度处理;
根据模糊度处理后的图像进行字符预分割;
对字符预分割后的字符区域进行水平投影和垂直投影,分别得到每个字 符的顶部和底部信息、左边和右边信息;
根据所述顶部和底部信息、左边和右边信息,将所述字符区域划分为若 干个字符块。
一种黑烟船舶的识别装置,所述装置包括:
巡航模块,用于按照预设的视野坐标控制摄像机进行区域巡航及检测船 体信息;
跟踪模块,用于若在区域巡航过程中检测到船体信息,则对所述船体信 息进行跟踪,得到跟踪视频;
黑烟识别模块,用于对所述跟踪视频中的船体信息进行黑烟识别,获取 黑烟船舶;
提取模块,用于提取所述黑烟船舶的船体编码。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序, 所述计算机程序被处理器执行时实现如上所述的黑烟船舶的识别方法。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在 所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如 上所述的黑烟船舶的识别方法。
本发明实施例通过按照预设的视野坐标控制摄像机进行区域巡航及检测 船体信息;若在区域巡航过程中检测到船体信息,则对所述船体信息进行跟 踪,得到跟踪视频;对所述跟踪视频中的船体信息进行黑烟识别,获取黑烟 船舶;最后对所述黑烟船舶提取船体编码;从而完成对黑烟船舶的自动化识 别,且提高了对黑烟船舶的监测效率和准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的 描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅 仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性 劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中黑烟船舶的识别方法的流程图;
图2是本发明一实施例中黑烟船舶的识别方法中步骤S101的流程图;
图3是本发明一实施例中黑烟船舶的识别方法中提供的重叠区域示意图;
图4是本发明一实施例中黑烟船舶的识别方法中步骤S102的流程图;
图5是本发明一实施例中黑烟船舶的识别方法中提供的目标范围示意图;
图6是本发明一实施例中黑烟船舶的识别方法中步骤S103的流程图;
图7是本发明一实施例中黑烟船舶的识别方法中步骤S104的流程图;
图8是本发明一实施例中黑烟船舶的识别方法提供的船体编码区块图的 校正过程示意图;
图9是本发明一实施例中黑烟船舶的识别方法提供的字符区域的分割过 程示意图;
图10是本发明一实施例中黑烟船舶的识别方法提供的投影示意图;
图11是本发明一实施例中黑烟船舶的识别装置的示意图;
图12是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供了一种黑烟船舶的识别方法,通过按照预设的视野坐标控 制摄像机进行区域巡航及检测船体信息;若在区域巡航过程中检测到船体信 息,则对所述船体信息进行跟踪,得到跟踪视频;对所述跟踪视频中的船体 信息进行黑烟识别,获取黑烟船舶;最后对所述黑烟船舶提取船体编码;从 而完成对黑烟船舶的自动化识别,且提高了对黑烟船舶的监测效率。
以下对本实施例提供的黑烟船舶的识别方法进行详细的描述,如图1所 示,所述黑烟船舶的识别方法包括:
在步骤S101中,按照预设的视野坐标控制摄像机进行区域巡航及检测船 体信息。
在这里,所述视野坐标是指摄像机上摄像头的水平旋转角P、垂直旋转角 T、放大缩小倍数Z。本发明实施例预先自定义若干个视野坐标,通过视野坐 标来指示所述摄像机的摄像头进行区域巡航及检测船体信息。如图2所示, 所述步骤S101还包括:
在步骤S201中,设置摄像机巡航时的视野坐标,所述视野坐标覆盖船舶 航行区域。
与现有技术使用摄像机固定的视野坐标不同,本发明实施例通过预先制 定若干个视野坐标,优选为5个,来对船舶航行的区域进行覆盖,并将所述 视野坐标存入数据库,能够有效防止摄像机球机断电视野坐标丢失,且存入 数据库后可以根据业务来进行多样化巡航,实现高度的定制化。
在步骤S202中,按照所述视野坐标控制所述摄像机以预设的时间间隔进 行区域巡航。
在本发明实施例中,所述预设的时间间隔优选为6秒。摄像机的球机遍 历每一个视野坐标,并在每一个视野坐标上停留预设的时间间隔,采集视频 帧信息,执行区域巡航。
在步骤S203中,在区域巡航的过程中,采用预设的第一神经网络对所述 视野坐标下采集到的视频帧信息进行船体信息检测。
在这里,本发明采用CNN卷积神经网络检测船体信息。若在所述预设时 间间隔内检测到船体信息,则执行步骤S102;否则,若在所述预设时间间隔 内未检测到船体信息,则跳转至下一个视野坐标,当所述若干个视野坐标轮 询一边后,继续从头开始巡航。
作为本发明的一个优选实例,由于每一个视野坐标对应的视野范围大, 摄像机获取到的视频帧信息通常为大分辨率图像,而相对于所述视野范围来 说,船舶较小。现有技术在大分辨率图像中进行小目标检测时普遍存在检测 难度大、检测准确率低以及显卡爆炸的问题。鉴于此,本发明实施例采用分 块检测的方式,通过所述第一神经网络对所述视频帧信息进行分块后再执行 船体信息检测。所述步骤S203还包括:
在步骤S301中,遍历所述视野坐标下采集到的视频帧信息,对所述视频 帧信息进行分割,得到若干个图像块,其中,所述图像块为矩形且相邻图像 块之间存在重叠区域,所述重叠区域为以图像块的相邻边为边长的矩形。
在这里,本发明实施例首先对所述大分辨率的视频帧信息进行分割,使 得视频帧信息变成一个个较小的图像块。为了避免两个图像块之间,一些船 舶正好被分割截断,本发明实施例在相邻图像块之间预留重叠区域。所述重 叠区域为以图像块的相邻边为边长的矩形,重叠区域的另一边长按所述图像 块的非相邻边的预设比例取值。示例性地,假设所述预设比例为20%,相邻两 个图像块的像素分别为a*b,并以a作为相邻边,则所述重叠区域的大小可设 置为a*20%*b。如图3所示,为本发明实施例提供的重叠区域示意图,虚线框表示一个图像块,实线框表示相邻的图像块。
可选地,在实际应用中,摄像机所获取到的图像帧信息的长度不尽相同, 图像帧信息两端的黑边大小也不尽相同。鉴于此,在对所述视频帧信息进行 分割得到若干个图像块之前,本发明实施例还可以包括:
对所述视频帧信息自适应填充黑边,以将所述视频帧信息缩放到统一尺 寸。
通过自适应填充黑边,对原始的图像帧信息自适应添加最少的黑边,能 够有效地避免图像信息冗余,便利所述第一神经网络对所述视频帧信息进行 分块检测,提高船体信息检测的速度和精度。
在步骤S302中,通过所述第一神经网络对每一图像块进行船体信息检测, 生成图像块对应的至少一个检测框。
在这里,所述第一神经网络对每一图像块进行船体信息检测时,通过检 测框将每一个疑似船体信息标记出来。
在步骤S303中,将每一图像块对应的检测框汇集到所述视频帧信息上, 对所述视频帧信息上的检测框进行非极大值抑制操作nms,得到目标检测框。
在对所有的图像块完成船体信息检测后,本发明实施例将所有的检测框 统一放到所述视频帧信息上,然后对所述视频帧信息在整体上做一次非极大 值抑制(Non-Maximum Suppression,简称NMS)操作,以将汇集在所述视频 帧信息上的冗余的检测框去除,只保留同一检测区域上最有代表性的一个检 测框。
在步骤S304中,根据所述目标检测框获取船体信息。
通过nms操作后可以得到目标检测框,本发明实施例以所述目标检测框 所检测到的目标作为船体信息。
本发明实施例通过上述步骤S301至步骤S304对视频帧信息进行分块检 测船体信息,极大地提高了船体信息的检测准确度、检测效率,同时降低了 内存资源的消耗。
在步骤S102中,若在区域巡航过程中检测到船体信息,则对所述船体信 息进行跟踪,得到跟踪视频。
在通过上述步骤S101的区域巡航检测到船体信息后,本发明实施例对船 体信息进行跟踪。在这里,船舶的冒烟位置一般在船体的上方,在对黑烟船 进行检烟时,需要对烟的冒出点留出足够的空间,才能比较明显的观察到烟。 现有技术是用人工操作摄像机,通过摄像机的后台服务器来对摄像机进行位 置操作,极大地消耗人力。鉴于此,本发明实施例通过预设目标范围,以实 现对船体信息的自动化跟踪。可选地,如图4所示,所述步骤S102还包括:
在步骤S401中,预先设置船体信息的目标范围。
在这里,本发明实施例预先设定船体信息的目标范围。所述目标范围用 于框定船体信息在画面中的位置。可选地,所述目标范围与视频画面的左边 相距35%的视频画面宽度、与视频画面的右边相距35%的视频画面宽度以及与 视频画面的上边相距50%的视频画面高度。为了便于理解,图5为本发明实施 例提供的目标范围示意图。
在步骤S402中,若在区域巡航过程中检测到船体信息,则按照所述目标 范围调整摄像机的位置,以使船体中心点始终保持在所述目标范围内。
在检测到船体信息后,以所述目标范围为操作参考,动态调整摄像机的 位置。其中调整的效果是船体中心点始终保持在所述目标范围内,即所述船 体信息始终落在所述目标范围内,以框定船体信息在画面中的位置。
在步骤S403中,通过调整后的摄像机对所述船体信息进行跟踪,得到跟 踪视频。
本发明实施例通过设定船体信息的目标范围,然后按照所述目标范围调 整摄像机的位置,使船的中心点始终保持在所述目标范围中,实现对船体的 自动化跟踪,有利于降低人力成本;且通过预留视频画面高度的50%,给冒烟 的位置留出更多的空间,有利于提高对黑烟的检出率。
在步骤S103中,对所述跟踪视频中的船体信息进行黑烟识别,获取黑烟 船舶。
可选地,在本发明实施例中,船体黑烟识别包括背景过滤和前景提取、 超分辨率提升黑烟细节、黑烟运动特征提取、黑烟纹理特征提取、黑烟空间 特征提取、对特征进行加权融合及推理,供6个环节。如图6所示,所述步 骤S103还包括:
在步骤S601中,采用改进型时空动态高斯背景模型对所述跟踪视频中的 每一视频帧信息进行背景过滤,提取前景信息。
在这里,本发明实施例从跟踪视频中找出移动区域,把移动区域设为白 色,其他未移动区域设为黑色背景。
现有技术主要采用混合高斯背景建模算法来进行背景过滤和提取前景信 息。然而混合高斯背景建模算法在计算过程中会消耗大量cpu资源,而且需 要比较久的时间才能提取到前景信息。鉴于此,本发明实施例采用基于时空 混合高斯背景建模的改进型时空动态高斯背景建模DSTGMM,通过动态的学习 率来对所述跟踪视频中的视频帧信息进行背景过滤,提取前景信息。具体地, 预先设置帧数阈值T0,所述跟踪视频中T0帧之前的视频帧信息按照第一学习 率来学习,T0帧之后的视频帧信息按照第二学习率学习,其中第一学习率大于 所述第二学习率,从而能够更快的找到船舶的轮廓,提升检测效率。
在步骤S602中,采用超分辨率算法对所述前景信息进行重建。
本发明实施例采用超分辨率算法对前景信息进行重建,能够有效地解决 视频模糊、噪点严重的问题,有效地降低了黑烟识别的误检率。
在步骤S603中,采用稠密光流算法对重建后的前景信息进行特征提取, 得到光流特征。
在这里,为了观察船体信息在跟踪视频中的运动轨迹,本发明实施例采 用稠密光流来提取其运动特征。
在步骤S604中,采用局部二值模式LBP对重建后的前景信息进行烟雾提 取,得到烟雾的纹理特征。
在这里,为了提取烟雾的纹理,本发明实施例采用局部二值模式(local binarypattern,简称LBP)纹理分类特征算法来进行提取。
在步骤S605中,采用长短期记忆网络对重建后的前景信息进行特征分类, 得到若干个空间特征。
为了让神经网络对每个所述跟踪视频中的每一视频帧信息的特征进行分 类,并且能够使用前一个特征推理下一个事件,发明实施例采用长短期记忆 网络(Long Short-Term Memory,简称LSTM)来进行长时间记忆,通过LSTM 神经网络对重建后的前景信息进行特征分类,然后输出分类后的空间特征。
在步骤S606中,将所述光流特征、纹理特征、空间特征输入至支持向量 机SVM中进行黑烟识别,获取黑烟船舶。
本发明实施例预先训练支持向量机SVM,通过支持向量机SVM基于所述光 流体征、纹理特征、空间特征进行加权融合,以及黑烟识别,输出船体信息 是否为黑烟船舶的判断结果。本发明实施例根据所述支持向量机SVM的输出 结果获取黑烟船舶,实现了黑烟船舶的自动化识别,且提高了对黑烟船舶的 监测效率和准确率。
在完成对黑烟船舶的识别之后,需要提取黑烟船舶的身份信息,即船体 编码。
在步骤S104中,提取所述黑烟船舶的船体编码。
可选地,作为本发明的一个优选实例,船体编码提取过程分为船体编码 定位、船体编码矫正、字符分割和字符识别四个环节。如图7所示,步骤S104 还包括:
在步骤S701中,采用预设的第二神经网络对所述黑烟船舶进行坐标识别, 获取船体编码坐标。
在这里,本发明实施例采用CNN卷积神经网络提取船体编码的坐标信息。 通过预先收集指定数量的船体编码图像,比如5000张,将所述船体编码图像 输入预先构建好的CNN卷积神经网络进行学习,训练所述CNN卷积神经网络。 最后采用该训练好的CNN卷积神经网络对所述黑烟船舶中的船体编码进行识 别,得到船体编码的坐标信息。
在这里,所述第二神经网络也可以采用如上所述的分块后再执行船体编 码坐标检测,以及对视频帧信息进行自适应黑边填充,具体请参见上述实施 例的叙述,此处不再赘述。
在步骤S702中,根据所述船体编码坐标从所述视频帧信息中提取船体编 码区块图,对所述船体编码区块图中的字符区域进行校正。
本发明实施例从所述跟踪视频中任意选取一个包含船体信息的视频帧信 息,根据所述船体编码坐标从所述视频帧信息中提取船体编码区块图。应当 理解,所述船体编码区块图只包括船体编码的字符部分。由于摄像机在不同 的拍摄视角所得到的船体编码字符会发生歪曲、不规整等现象,为了提高对 船体编码的识别准确度,本发明实施例进一步对所述船体编码区块图中的字 符区域进行校正。所述步骤S702还包括:
在步骤S801中,根据所述船体编码坐标从所述视频帧信息中提取船体编 码区块图。
在步骤S802中,将所述船体编码区块图转换为二值化图像。
在步骤S803中,根据所述二值化图像计算所述船体编码区块图中的字符 区域的水平偏斜角和垂直偏斜角。
在这里,本发明实施例对所述二值化图像进行感兴趣区域操作(region ofinterest,简称ROI),勾勒出船体编码对应的字符区域。计算所述字符区域 的水平偏斜角和垂直偏斜角。其中,水平偏斜角是指摄像机上的摄像头的水 平转动角度,垂直偏斜角是指摄像机上的摄像头的垂直转动角度。
在步骤S804中,根据所述水平偏斜角和垂直偏斜角对所述船体编码区块 图中的字符区域进行校正。
本发明实施例通过校正,包括但不限于拉伸、缩放等操作,使得校正后 的所述船体编码区块图中的字符区域规整化,呈现横竖规整的矩形。
为了便于理解,图8为本发明实施例提供的船体编码区块图的校正过程 示意图。其中,图8(a)表示根据坐标信息提取出来的船体编码区块图;图8(b) 表示船体编码区块图对应的二值化图像;图8(c)表示从二值化图像中勾勒出 的字符区域;图8(d)表示船体编码区块图中的字符区域;图8(e)表示校正后 的字符区域。
在步骤S703中,对校正后的字符区域进行切割,得到若干个字符块。
由于船体编码通常为机械编码字符,为了尽可能地正确分割机械编码字 符,本发明实施例对所述船体编码进行预处理后再进行切割。可选地,步骤 S703还包括:
在步骤S901中,对校正后的字符区域进行颜色空间变换,从彩色图转换 为灰度图。
在步骤S902中,对所述灰度图进行二值化处理,得到字符区域的二值化 图像。
在步骤S903中,对所述字符区域的二值化图像进行模糊度处理。
在步骤S904中,根据模糊度处理后的图像进行字符预分割。
为了便于理解,图9为本发明实施例提供的字符区域的分割过程示意图。 其中,在图9中,1表示输入校正后的字符区域;2表示字符区域经颜色空间 变换后的灰度图;3表示灰度图经二值化处理后的二值化图像;图4表示模糊 度Blur处理后的字符区域;5表示字符预分割后的字符区域。可见,字符预 分割后的字符区域已经标注了分割标识。
在步骤S905中,对字符预分割后的字符区域进行水平投影和垂直投影, 分别得到每个字符的顶部和底部信息、左边和右边信息。
在步骤S906中,根据所述顶部和底部信息、左边和右边信息,将所述字 符区域划分为若干个字符块。
在这里,通过像素投影直方图,可以准确地找到每个字符的上限和下限、 左边和右边。本发明实施例根据水平投影找出每个字符的顶部和底部,以及 根据垂直投影找出每个字符的左边和右边。图10为本发明实施例提供的投影 示意图。最后根据字符的顶部和底部信息、左边和右边信息,划分出若干个 字符块。通过上述S901至步骤S906对字符区域进行切割,有利于提高字符 块切割的准确度,便于后续进行字符识别。
可选地,作为本发明的另一个优选实例,也可以采用形态学的开/闭操作 来生成连通区域,然后使用连通跟踪算法提取连通区域,每一个连通区域表 示一个字符块。
在步骤S704中,采用多层感知器MLP网络对所述字符块进行识别,得到 每一字符块对应的字符信息。
识别阶段是机械编码自动检测与识别系统的最后一个环节,本发明实施 例所述的识别是基于前面环节得到的单个字符块。在这里,本发明实施例通 过比较多层感知器MLP和K近邻分类器KNN后,发现多层感知器MLP和K近 邻分类器KNN的神经元越多,分类的性能越高;然而K近邻分类器KNN的可 调整潜力远小于多层感知器MLP,因此本发明实施例优选采用多层感知器MLP 网络来识别分割后的字符块,得到每一个字符块对应的字符信息。
在步骤S705中,组合所述字符信息,得到所述船体编码。
本发明实施例通过对船体编码区块图中每个字符进行单独切割,并采用 多层感知器MLP网络对每一个字符进行单独识别,有效地提高了船体编码识 别的准确率。
至此,完成对黑烟船舶的检测,最终输出黑烟船舶的检测结果及黑烟船 舶对应的船体编码。
综上所述,本发明实施例通过按照预设的视野坐标控制摄像机进行区域 巡航及检测船体信息;若在区域巡航过程中检测到船体信息,则对所述船体 信息进行跟踪,得到跟踪视频;对所述跟踪视频中的船体信息进行黑烟识别, 获取黑烟船舶;提取所述黑烟船舶的船体编码;从而完成对黑烟船舶的自动 化识别,且提高了对黑烟船舶的监测效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后, 各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实 施过程构成任何限定。
在一实施例中,提供一种黑烟船舶的识别装置,该黑烟船舶的识别装置 与上述实施例中黑烟船舶的识别方法一一对应。如图11所示,该黑烟船舶的 识别装置包括巡航模块10、跟踪模块20、黑烟识别模块30、提取模块40。
各功能模块详细说明如下:
巡航模块10,用于按照预设的视野坐标控制摄像机进行区域巡航及检测 船体信息;
跟踪模块20,用于若在区域巡航过程中检测到船体信息,则对所述船体 信息进行跟踪,得到跟踪视频;
黑烟识别模块30,用于对所述跟踪视频中的船体信息进行黑烟识别,获 取黑烟船舶;
提取模块40,用于提取所述黑烟船舶的船体编码。
所述巡航模块10包括:
视野坐标设置单元,用于设置摄像机巡航时的视野坐标,所述视野坐标 覆盖船舶航行区域;
巡航单元,用于按照所述视野坐标控制所述摄像机以预设的时间间隔进 行区域巡航;
检测单元,用于在区域巡航的过程中,采用预设的第一神经网络对所述 视野坐标下采集到的视频帧信息进行船体信息检测。
可选地,所述检测单元包括:
分割子单元,用于遍历所述视野坐标下采集到的视频帧信息,对所述视 频帧信息进行分割,得到若干个图像块,其中,所述图像块为矩形且相邻图 像块之间存在重叠区域;
检测子单元,用于通过所述第一神经网络对每一图像块进行船体信息检 测,生成图像块对应的至少一个检测框;
nms操作子单元,用于将每一图像块对应的检测框汇集到所述视频帧信 息上,对所述视频帧信息上的检测框进行非极大值抑制操作nms,得到目标 检测框;
获取子单元,用于根据所述目标检测框获取船体信息。
可选地,所述检测单元还包括:
黑边填充子单元,用于对所述视频帧信息自适应填充黑边,以将所述视 频帧信息缩放到统一尺寸。
可选地,所述跟踪模块20包括:
目标范围设置单元,用于预先设置船体信息的目标范围;
调整单元,用于若在区域巡航过程中检测到船体信息,则按照所述目标 范围调整摄像机的位置,以使船体中心点始终保持在所述目标范围内;
跟踪单元,用于通过调整后的摄像机对所述船体信息进行跟踪,得到跟 踪视频。
可选地,所述目标范围与视频画面的左边相距35%的视频画面宽度、与 视频画面的右边相距35%的视频画面宽度以及与视频画面的上边相距50%的 视频画面高度。
可选地,所述黑烟识别模块30包括:
过滤单元,用于采用改进型时空动态高斯背景模型对所述跟踪视频中的 每一视频帧信息进行背景过滤,提取前景信息;
重建单元,用于采用超分辨率算法对所述前景信息进行重建;
第一提取单元,用于采用稠密光流算法对重建后的前景信息进行特征提 取,得到光流特征;
第二提取单元,用于采用局部二值模式LBP对重建后的前景信息进行烟 雾提取,得到烟雾的纹理特征;
第三提取单元,用于采用长短期记忆网络对重建后的前景信息进行特征 分类,得到若干个空间特征;
黑烟识别单元,用于将所述光流特征、纹理特征、空间特征输入至支持 向量机SVM中进行黑烟识别,获取黑烟船舶。
可选地,所述改进型时空动态高斯背景模型采用动态的学习率;
对所述跟踪视频中预设的帧数阈值之前的视频帧信息按照第一学习率来 学习,在帧数阈值之后的视频帧信息按照第二学习率学习;
其中,所述第一学习率大于所述第二学习率。
可选地,所述提取模块40包括:
坐标识别单元,用于采用预设的第二神经网络对所述黑烟船舶进行坐标 识别,获取船体编码坐标;
校正单元,用于根据所述船体编码坐标从所述视频帧信息中提取船体编 码区块图,对所述船体编码区块图中的字符区域进行校正;
切割单元,用于对校正后的字符区域进行切割,得到若干个字符块;
字符识别单元,用于采用多层感知器MLP网络对所述字符块进行识别, 得到每一字符块对应的字符信息;
组合单元,用于组合所述字符信息,得到所述船体编码。
可选地,所述校正单元包括:
区块提取子单元,用于根据所述船体编码坐标从所述视频帧信息中提取 船体编码区块图;
第一二值化处理子单元,用于将所述船体编码区块图转换为二值化图像;
偏斜角计算子单元,用于根据所述二值化图像计算所述船体编码区块图 中的字符区域的水平偏斜角和垂直偏斜角;
校正子单元,用于根据所述水平偏斜角和垂直偏斜角对所述船体编码区 块图中的字符区域进行校正。
可选地,所述切割单元包括:
灰度图转换子单元,用于对校正后的字符区域进行颜色空间变换,从彩 色图转换为灰度图;
第二二值化处理子单元,用于对所述灰度图进行二值化处理,得到字符 区域的二值化图像;
Blur处理子单元,用于对所述字符区域的二值化图像进行模糊度处理;
分割预处理单元,用于根据模糊度处理后的图像进行字符预分割;
投影子单元,用于对字符预分割后的字符区域进行水平投影和垂直投影, 分别得到每个字符的顶部和底部信息、左边和右边信息;
划分子单元,用于根据所述顶部和底部信息、左边和右边信息,将所述 字符区域划分为若干个字符块。
关于黑烟船舶的识别装置的具体限定可以参见上文中对于黑烟船舶的识 别方法的限定,在此不再赘述。上述黑烟船舶的识别装置中的各个模块可全 部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于 或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中 的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器, 其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理 器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计 算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为 非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设 备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器 执行时以实现一种黑烟船舶的识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实 现以下步骤:
按照预设的视野坐标控制摄像机进行区域巡航及检测船体信息;
若在区域巡航过程中检测到船体信息,则对所述船体信息进行跟踪,得 到跟踪视频;
对所述跟踪视频中的船体信息进行黑烟识别,获取黑烟船舶;
提取所述黑烟船舶的船体编码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可 存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包 括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用 的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或 易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存 储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、 动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器 总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以 上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而 将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划 分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参 照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解: 其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技 术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱 离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之 内。