一种复杂场景下的安全帽识别方法及装置
技术领域
本发明涉及目标检测
技术领域
，尤其是涉及一种复杂场景下的安全帽识别方法及装置。背景技术
安全帽可以起到缓冲减震的作用，是各行各业安全生产工作者和高空作业人员必不可少的一种安全用具。复杂场景下的作业安全与安全帽的佩戴关系紧密相关，现有的安全帽识别方法主要在于如何综合利用各主流算法模型，提高安全帽检测识别率，且相关研究多是针对简单场景下的安全帽识别，未考虑实际工地环境多种因素对安全帽识别的影响，导致难以识别复杂场景下的安全帽佩戴情况。
发明内容
本发明提供一种复杂场景下的安全帽识别方法及装置，以解决现有的安全帽识别方法未考虑实际工地环境多种因素对安全帽识别的影响，导致难以识别复杂场景下的安全帽佩戴情况。
本发明的第一实施例提供了一种复杂场景下的安全帽识别方法，包括：
采集复杂场景下的安全帽佩戴状态图片，对所述安全帽佩戴状态图片进行数据标注得到标注图片；
采用光照均衡化的图片处理方法对所述标注图片进行预处理，得到预处理图片；
采用所述预处理图片对神经网络模型进行训练，通过改变所述神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型；
采集复杂场景下的待识别图片，将所述待识别图片输入到所述安全帽识别模型中，采用TTA方法识别所述待识别图片中工人的安全帽佩戴状态。
进一步的，在“采集复杂场景下的安全帽佩戴状态图片，对所述安全帽佩戴状态图片进行数据标注得到标注图片”以及“采用光照均衡化的图片处理方法对所述标注图片进行预处理，得到预处理图片”之间，还包括：
利用k-means聚类方法对所述标注图片的检测框进行聚类分析，以及利用random-erasing数据增强方法对所述标注图片的图片区域进行随机擦除。
进一步的，所述采用光照均衡化的图片处理方法对所述标注图片进行预处理，得到预处理图片，具体为：
对所述标注图片进行亮度均衡化处理，读取所述标注图片的RGB三个颜色通道，并将所述颜色通道转换为YUV颜色空间；
选取所述YUV颜色空间的Y通道信息，并统计每个像素的Y通道值，根据所述Y通道值计算得到出现预设亮度的概率；
根据每一亮度出现的概率得到亮度直方图，对所述亮度直方图进行归一化处理得到预处理图片。
进一步的，所述神经网络为Yolov5模型，所述采用所述预处理图片对神经网络模型进行训练，通过改变所述神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型，具体为：
在所述神经网络模型的网络结构中添加一层SElayer并加入融合了注意力机制的BackBone，得到安全帽识别模型。
进一步的，所述方法还包括：
在识别到安全帽佩戴状态为未佩戴安全帽时，生成语音信息提醒；
在识别到安全帽佩戴状态为已佩戴安全帽时，采用机器学习方法对已佩戴安全帽进行分类，得到所述已佩戴安全帽的颜色类别。
进一步的，所述采用机器学习方法对已佩戴安全帽进行分类，得到所述已佩戴安全帽的颜色类别，具体为：
检测所述预处理图片中的安全帽位置；
制作若干个安全帽的颜色类别模板；
根据所述安全帽位置选取所述已佩戴安全帽的上半部分，将所述已佩戴安全帽的上半部分转换到所述YUV颜色空间，分别计算所述已佩戴安全帽的上半部分到若干个所述颜色类别模板的欧式距离；
分别将多个所述欧式距离与距离阈值范围进行比对，根据比对结果得到所述安全帽的颜色类别。
进一步的，所述分别将多个所述欧式距离与距离阈值范围进行比对，根据比对结果得到所述安全帽的颜色类别，具体为：
分别将多个所述欧式距离与距离阈值范围进行比对，若至少一个所述欧式距离在所述阈值范围内，选取所述欧式距离中的最小值欧式距离对应的颜色类别模板作为最终的计算结果，得到所述安全帽的颜色类别；
若所有欧式距离均不在所述距离阈值范围内，则判断所述安全帽为其他颜色类别。
本发明的第二实施例提供了一种复杂场景下的安全帽识别装置，包括：
数据标注模块，用于采集复杂场景下的安全帽佩戴状态图片，对所述安全帽佩戴状态图片进行数据标注得到标注图片；
预处理模块，用于采用光照均衡化的图片处理方法对所述标注图片进行预处理，得到预处理图片；
模型训练模块，用于采用所述预处理图片对神经网络模型进行训练，通过改变所述神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型；
识别模块，用于采集复杂场景下的待识别图片，将所述待识别图片输入到所述安全帽识别模型中，采用TTA方法识别所述待识别图片中工人的安全帽佩戴状态。
本发明实施例充分考虑了复杂场景下的强光、弱光、遮挡等因素对安全帽状态识别的影响，采取光照均衡化的图片处理方法进行数据预处理，能够有效降低复杂场景下实际环境因素对识别结果的影响，从而能够使得安全帽识别更加准确；本发明实施例通过修改Yolov神经网络的网络结构以及融合注意力机制，使得模型在空间上的注意力更为集中，有利于提高识别的准确性；本发明实施例通过加入TTA方法可提高安全帽识别模型的可靠度。
进一步地，本发明实施例在识别到复杂场景下的工人已佩戴安全帽后，通过制作安全帽不同的颜色类别模板以及计算安全帽位置与颜色类别模板的欧式距离，能够进一步地实现对安全帽的颜色类别进行区分，有利于提高复杂场景对安全帽佩戴状态的管理效率。
附图说明
图1是本发明实施例提供的一种复杂场景下的安全帽识别方法的流程示意图；
图2是本发明实施例提供的神经网络模型结构示意图；
图3是本发明实施例提供的一种复杂场景下的安全帽识别方法的另一流程示意图；
图4是本发明实施例提供的一种复杂场景下的安全帽识别装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1-3，在本发明的第一实施例中，本发明的第一实施例提供了图1所示的一种复杂场景下的安全帽识别方法，包括：
S1、采集复杂场景下的安全帽佩戴状态图片，对安全帽佩戴状态图片进行数据标注得到标注图片；
本发明实施例在步骤S1中采集复杂场景下的安全帽佩戴状态图片作为安全帽数据集，安全帽佩戴状态图片包括已佩戴安全帽图片和未佩戴安全帽图片。本发明实施通过对安全帽佩戴状态图片进行数据标注，以保证数据平衡。
S2、采用光照均衡化的图片处理方法对标注图片进行预处理，得到预处理图片；
示例性地，复杂场景包括施工环境，在使用环境中存在强光和弱光等问题，本发明实施例采用光照均衡化的图片处理方法对标注图片进行预处理，能够有效提高图片的对比度，从而增加图像的细节，能够有效抵抗复杂环境中不同光照之间变化带来的影响，进而能够有效提升模型在强光或弱光环境下的识别准确度。
S3、采用预处理图片对神经网络模型进行训练，通过改变神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型；
本发明实施例通过修改神经网络模型的网络结构并融合了注意力机制，使得训练得到的安全帽识别模型在空间上的注意力更集中，从而能够提高对安全帽佩戴状态识别的准确性和效率。
S4、采集复杂场景下的待识别图片，将待识别图片输入到安全帽识别模型中，采用TTA方法识别待识别图片中工人的安全帽佩戴状态。
具体地，在对该识别图片进行安全帽佩戴状态的识别时，在安全帽识别模型中采用TTA方法随机翻转和缩放图片，通过对多个结果进行综合分析得到最终的安全帽佩戴状态识别结果，能够有效提高对安全帽佩戴状态识别的可靠性。
作为本发明实施例的一种具体实施方式，在“采集复杂场景下的安全帽佩戴状态图片，对安全帽佩戴状态图片进行数据标注得到标注图片”以及“采用光照均衡化的图片处理方法对标注图片进行预处理，得到预处理图片”之间，还包括：
利用k-means聚类方法对标注图片的检测框进行聚类分析，以及利用random-erasing数据增强方法对标注图片的图片区域进行随机擦除。
在本发明实施例中，利用k-means聚类方法对标注图片的检测框进行聚类分析得到适用于安全帽佩戴状态识别的检测框大小，从而提高识别的准确性。另外，本发明实施例采用random-erasing数据增强方法对标注图片的图片区域进行随机擦除，能够有效增加模型的抗遮挡能力。
作为本发明实施例的一种具体实施方式，采用光照均衡化的图片处理方法对标注图片进行预处理，得到预处理图片，具体为：
对标注图片进行亮度均衡化处理，读取标注图片的RGB三个颜色通道，并将颜色通道转换为YUV颜色空间；
YUV是一种颜色编码方法，分为三个分量，其中“Y”表示明亮度，“U”和“V”表示色度，用于描述影响色彩及饱和度，指定像素的颜色。本发明实施例将标注图片转换成YUV颜色空间有利于对标注图片的亮度信息进行均衡化，能够有效减少复杂环境中多种因素对安全帽状态识别的影响。
选取YUV颜色空间的Y通道信息，并统计每个像素的Y通道值，根据Y通道值计算得到出现预设亮度的概率；
根据每一亮度出现的概率得到亮度直方图，对亮度直方图进行归一化处理得到预处理图片。
具体地，在一个离散图片{x}中，以ni表示亮度i出现的次数，即图片中亮度为i的像素的出现概率是：
其中，L是图片中所有的亮度数(通常为256)，n是图片中所有的像素数，px(i)实际上是像素值为i的图像直方图，归一化到[0,1]。
将对应于px的累积分布函数定义为：
可选地，创建一个形式为y＝T(x)的变换，对于原始图像中的每个值产生一个y，y的累计概率函数就可以在所有值范围内进行线性化，其中转换公式定义为：
cdfy(i)＝iK
作为本发明实施例的一种具体实施方式，神经网络为Yolov5模型，采用预处理图片对神经网络模型进行训练，通过改变神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型，具体为：
在神经网络模型的网络结构中添加一层SElayer并加入融合了注意力机制的BackBone，得到安全帽识别模型。
具体地，在输入该预处理图片时，在神经网络模型的网络结构中添加一层SElayer，以关注不同通道特征的重要程度。其中所添加的SElayer依次进行平均池化、线性分类，再通过Relu激活函数以及线性分类，学习不同通道之间的相关性，从而能够筛选出针对通道的注意力。
请参阅图2，在本发明实施例中，预处理图片经过SElayer之后，依次经过Focus、CBL、CSP_1、CBL、CDP_3、CBL、CSP1_3、CBL、SPP模块，在BackBone的最后一层添加SElayer，通过对卷积的到的特征图进行处理，得到一个和通道数一样的一维向量作为每个通道的评价分数，然后将该评价分数分别施加到对应的通道上。在预处理图片经过融合了attention机制的BackBone之后，将特征图传入YOLOv5-Neck结构，得到安全帽识别模型。
作为本发明实施例的一种具体实施方式，方法还包括：
在识别到安全帽佩戴状态为未佩戴安全帽时，生成语音信息提醒；
在识别到安全帽佩戴状态为已佩戴安全帽时，采用机器学习方法对已佩戴安全帽进行分类，得到已佩戴安全帽的颜色类别。
示例性地，安全帽的颜色分类包括红色、白色、黄色和蓝色。
作为本发明实施例的一种具体实施方式，采用机器学习方法对已佩戴安全帽进行分类，得到已佩戴安全帽的颜色类别，具体为：
检测预处理图片中的安全帽位置；
制作若干个安全帽的颜色类别模板；
本发明实施例选取四个全白、全红、全黄、全蓝的图片作为颜色类别模版
根据安全帽位置选取已佩戴安全帽的上半部分，将已佩戴安全帽的上半部分转换到YUV颜色空间，分别计算已佩戴安全帽的上半部分到若干个颜色类别模板的欧式距离；
分别将多个欧式距离与距离阈值范围进行比对，根据比对结果得到安全帽的颜色类别。
本发明实施例选取四个全白、全红、全黄、全蓝的图片作为颜色类别模版，并根据若干个颜色类别模板与安全帽位置中上半部分的欧式距离，准确识别得到安全帽的颜色类别。
作为本发明实施例的一种具体实施方式，分别将多个欧式距离与距离阈值范围进行比对，根据比对结果得到安全帽的颜色类别，具体为：
分别将多个欧式距离与距离阈值范围进行比对，若至少一个欧式距离在阈值范围内，选取欧式距离中的最小值欧式距离对应的颜色类别模板作为最终的计算结果，得到安全帽的颜色类别；
若所有欧式距离均不在距离阈值范围内，则判断安全帽为其他颜色类别。
请参阅图3，为本发明实施例提供的一种复杂场景下的安全帽识别方法的另一流程示意图。
实施本发明实施例，具有以下有益效果：
本发明实施例充分考虑了复杂场景下的强光、弱光、遮挡等因素对安全帽状态识别的影响，采取光照均衡化的图片处理方法进行数据预处理，能够有效降低复杂场景下实际环境因素对识别结果的影响，从而能够使得安全帽识别更加准确；本发明实施例通过修改Yolov神经网络的网络结构以及融合注意力机制，使得模型在空间上的注意力更为集中，有利于提高识别的准确性；本发明实施例通过加入TTA方法可提高安全帽识别模型的可靠度。
进一步地，本发明实施例在识别到复杂场景下的工人已佩戴安全帽后，通过制作安全帽不同的颜色类别模板以及计算安全帽位置与颜色类别模板的欧式距离，能够进一步地实现对安全帽的颜色类别进行区分，有利于提高复杂场景对安全帽佩戴状态的管理效率。
请参阅图4，本发明的第二实施例提供了一种复杂场景下的安全帽识别装置，包括：
数据标注模块10，用于采集复杂场景下的安全帽佩戴状态图片，对安全帽佩戴状态图片进行数据标注得到标注图片；
本发明实施例在步骤S1中采集复杂场景下的安全帽佩戴状态图片作为安全帽数据集，安全帽佩戴状态图片包括已佩戴安全帽图片和未佩戴安全帽图片。本发明实施通过对安全帽佩戴状态图片进行数据标注，以保证数据平衡。
预处理模块20，用于采用光照均衡化的图片处理方法对标注图片进行预处理，得到预处理图片；
示例性地，复杂场景包括施工环境，在使用环境中存在强光和弱光等问题，本发明实施例采用光照均衡化的图片处理方法对标注图片进行预处理，能够有效提高图片的对比度，从而增加图像的细节，能够有效抵抗复杂环境中不同光照之间变化带来的影响，进而能够有效提升模型在强光或弱光环境下的识别准确度。
模型训练模块30，用于采用预处理图片对神经网络模型进行训练，通过改变神经网络模型的网络结构并加入注意力机制，得到安全帽识别模型；
本发明实施例通过修改神经网络模型的网络结构并融合了注意力机制，使得训练得到的安全帽识别模型在空间上的注意力更集中，从而能够提高对安全帽佩戴状态识别的准确性和效率。
识别模块40，用于采集复杂场景下的待识别图片，将待识别图片输入到安全帽识别模型中，采用TTA方法识别待识别图片中工人的安全帽佩戴状态。
具体地，在对该识别图片进行安全帽佩戴状态的识别时，在安全帽识别模型中采用TTA方法随机翻转和缩放图片，通过对多个结果进行综合分析得到最终的安全帽佩戴状态识别结果，能够有效提高对安全帽佩戴状态识别的可靠性。
作为本发明实施例的一种具体实施方式，预处理模块20，还用于：
利用k-means聚类方法对标注图片的检测框进行聚类分析，以及利用random-erasing数据增强方法对标注图片的图片区域进行随机擦除。
在本发明实施例中，利用k-means聚类方法对标注图片的检测框进行聚类分析得到适用于安全帽佩戴状态识别的检测框大小，从而提高识别的准确性。另外，本发明实施例采用random-erasing数据增强方法对标注图片的图片区域进行随机擦除，能够有效增加模型的抗遮挡能力。
作为本发明实施例的一种具体实施方式，预处理模块20，还用于：
对标注图片进行亮度均衡化处理，读取标注图片的RGB三个颜色通道，并将颜色通道转换为YUV颜色空间；
YUV是一种颜色编码方法，分为三个分量，其中“Y”表示明亮度，“U”和“V”表示色度，用于描述影响色彩及饱和度，指定像素的颜色。本发明实施例将标注图片转换成YUV颜色空间有利于对标注图片的亮度信息进行均衡化，能够有效减少复杂环境中多种因素对安全帽状态识别的影响。
选取YUV颜色空间的Y通道信息，并统计每个像素的Y通道值，根据Y通道值计算得到出现预设亮度的概率；
根据每一亮度出现的概率得到亮度直方图，对亮度直方图进行归一化处理得到预处理图片。
具体地，在一个离散图片{x}中，以ni表示亮度i出现的次数，即图片中亮度为i的像素的出现概率是：
其中，L是图片中所有的亮度数(通常为256)，n是图片中所有的像素数，px(i)实际上是像素值为i的图像直方图，归一化到[0,1]。
将对应于px的累积分布函数定义为：
可选地，创建一个形式为y＝T(x)的变换，对于原始图像中的每个值产生一个y，y的累计概率函数就可以在所有值范围内进行线性化，其中转换公式定义为：
cdfy(i)＝iK
作为本发明实施例的一种具体实施方式，神经网络为Yolov5模型，模型训练模块30，具体用于：
在神经网络模型的网络结构中添加一层SElayer并加入融合了注意力机制的BackBone，得到安全帽识别模型。
具体地，在输入该预处理图片时，在神经网络模型的网络结构中添加一层SElayer，以关注不同通道特征的重要程度。其中所添加的SElayer依次进行平均池化、线性分类，再通过Relu激活函数以及线性分类，学习不同通道之间的相关性，从而能够筛选出针对通道的注意力。
请参阅图2，在本发明实施例中，预处理图片经过SElayer之后，依次经过Focus、CBL、CSP_1、CBL、CDP_3、CBL、CSP1_3、CBL、SPP模块，在BackBone的最后一层添加SElayer，通过对卷积的到的特征图进行处理，得到一个和通道数一样的一维向量作为每个通道的评价分数，然后将该评价分数分别施加到对应的通道上。在预处理图片经过融合了attention机制的BackBone之后，将特征图传入YOLOv5-Neck结构，得到安全帽识别模型。
作为本发明实施例的一种具体实施方式，识别模块40，还用于：
在识别到安全帽佩戴状态为未佩戴安全帽时，生成语音信息提醒；
在识别到安全帽佩戴状态为已佩戴安全帽时，采用机器学习方法对已佩戴安全帽进行分类，得到已佩戴安全帽的颜色类别。
示例性地，安全帽的颜色分类包括红色、白色、黄色和蓝色。
作为本发明实施例的一种具体实施方式，采用机器学习方法对已佩戴安全帽进行分类，得到已佩戴安全帽的颜色类别，具体为：
检测预处理图片中的安全帽位置；
制作若干个安全帽的颜色类别模板；
本发明实施例选取四个全白、全红、全黄、全蓝的图片作为颜色类别模版
根据安全帽位置选取已佩戴安全帽的上半部分，将已佩戴安全帽的上半部分转换到YUV颜色空间，分别计算已佩戴安全帽的上半部分到若干个颜色类别模板的欧式距离；
分别将多个欧式距离与距离阈值范围进行比对，根据比对结果得到安全帽的颜色类别。
本发明实施例选取四个全白、全红、全黄、全蓝的图片作为颜色类别模版，并根据若干个颜色类别模板与安全帽位置中上半部分的欧式距离，准确识别得到安全帽的颜色类别。
作为本发明实施例的一种具体实施方式，分别将多个欧式距离与距离阈值范围进行比对，根据比对结果得到安全帽的颜色类别，具体为：
分别将多个欧式距离与距离阈值范围进行比对，若至少一个欧式距离在阈值范围内，选取欧式距离中的最小值欧式距离对应的颜色类别模板作为最终的计算结果，得到安全帽的颜色类别；
若所有欧式距离均不在距离阈值范围内，则判断安全帽为其他颜色类别。
请参阅图3，为本发明实施例提供的一种复杂场景下的安全帽识别方法的另一流程示意图。
实施本发明实施例，具有以下有益效果：
本发明实施例充分考虑了复杂场景下的强光、弱光、遮挡等因素对安全帽状态识别的影响，采取光照均衡化的图片处理方法进行数据预处理，能够有效降低复杂场景下实际环境因素对识别结果的影响，从而能够使得安全帽识别更加准确；本发明实施例通过修改Yolov神经网络的网络结构以及融合注意力机制，使得模型在空间上的注意力更为集中，有利于提高识别的准确性；本发明实施例通过加入TTA方法可提高安全帽识别模型的可靠度。
进一步地，本发明实施例在识别到复杂场景下的工人已佩戴安全帽后，通过制作安全帽不同的颜色类别模板以及计算安全帽位置与颜色类别模板的欧式距离，能够进一步地实现对安全帽的颜色类别进行区分，有利于提高复杂场景对安全帽佩戴状态的管理效率。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
