欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023103822755
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的安全帽佩戴的检测方法,其特征在于包括如下步骤:步骤一,图像收集,挑选,标注,对图片数据集进行图片预处理;

步骤二,将预处理好的图片数据进行深度学习模型训练,根据训练结果,对头部区域检测模型和安全帽佩戴检测模型进行测试,在所有回合中挑选出精度超过阈值的模型进行封装;

步骤三,调用头部区域检测模型,计算头部检测框像素总和,对低于100像素的区域提取出中心坐标,并使用噪声覆盖,处理后的监控图像送入安全帽佩戴检测模型进行检测;

步骤四,将低于100像素的区域的中心坐标带入中心点公式,获得出所有低于100像素的区域的中心点;

步骤五,将中心点的坐标作为摄像头锁定追踪算法的输入,调节摄像头方向并调整镜头放大倍数,对低于100像素的区域重复上述步骤三和步骤四过程,直至没有低于100像素的区域;

步骤六,若检测到未佩戴安全帽,向云台相机和监控探头发送示警指令;

进行图片预处理时,对数据集使用掩码进行图像区域遮盖生成两个新的数据集A,B,再使用mosaic增强、平移、翻转方式,对原有的数据集和数据集A、B进行处理, A,B数据集的掩码区域生成公式如下:,

其中, 表示A数据集的掩码区域, 表示B数据集的掩码区域, 表示原数据集图片, 表示原数据集图片与掩码区域相乘,对原数据集图片进行处理得到的数据集A图片, 表示原数据集图片与掩码区域相乘,对原数据集图片进行处理得到的数据集B图片, , B表示数据集A,B的掩码区域生成函数, , , , ,表示图片的右下角x坐标,y坐标以及图片的宽和高, , , , ,表示 区域的左上角x坐标,y坐标以及宽和高, , , , 的值为真实框的左上角x坐标,y坐标以及宽和高, ,, , 表示 区域的左上角x坐标,y坐标以及宽和高, 表示图片数组中横坐标为 ,纵坐标为 的数据的数值;

步骤三中进行检测的模型为安全帽佩戴检测模型,安全帽佩戴检测模型包括卷积模块、注意力模块、降噪模块,融合模块,注意力模块将卷积模块的输入x,根据SoftMax函数在横向上进行运算,将得到的结果乘以特征图的宽度,送入SoftMax函数在纵向上进行运算,通过提取横纵方向的特征获取全局注意力权重,接下来通过卷积层,规范归一化层和激活函数对全局注意力权重数据进行处理得到y,处理完毕后再次由两个SoftMax函数提取横纵特征得到y1,根据残差思想将y1与x相乘再相加x作为最后的输出out,注意力模块计算公式如下:

为卷积模块的输入, 为 第 维度的维度数,为对 进行卷积归一化激活运算后得到的值, 为提取出的 的横向特征, 为提取出的 的纵向特征, 为 经过运算突出重要特征后的结果, 函数第二位参数为0,表示按列运算, 函数第二位参数为1,表示按行运算;

降噪模块使用两个相邻的特征图作为输入,包含一个通道注意力和一个空间注意力模块,一个上采样模块,一个特征的融合模块,将深层特征经上采样函数上采样至浅层特征的尺寸,将上采样后的深层特征送入通道注意力模块提取注意力权重,再送入空间注意力模块提取注意力权重,并将得到的通道注意力权重和空间注意力权重与浅层特征相乘;

降噪模块计算公式如下:

其中, 表示通道注意力, 表示空间注意力,为深层特征, 为上采样后的深层特征, 为浅层特征, 为浅层特征降噪之后的输出结果,  表示张量之间相乘。

2.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法,其特征在于,在步骤一中,根据需要进行检测的对象和场景,通过无人机航拍和监控探头进行收集后,从中挑选出1200张佩戴安全帽的人员图像,200张未佩戴安全帽的人员图像,600张易坠落危险区域图,共2000张图片;

将上述2000张图片按照6:2:2的数量比例随机划分为训练集、验证集和测试集,组成安全帽与危险区域图片集;将上述1200张佩戴安全帽的人员图像,200张未佩戴安全帽的人员图像,按照6:2:2的数量比例随机划分为训练集、验证集和测试集,组成头部区域图片集;

将上述两个图片集的头部区域,危险区域的位置和类别信息生成XML格式的标注数据集,并与图片一一对应,提取XML文件中的类别、位置、宽高信息转为TXT格式,与图像数据集按照格式一一对应,组成安全帽与危险区域数据集和头部区域数据集。

3.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法,其特征在于,步骤二中,模型训练包括头部区域检测模型训练和安全帽佩戴检测训练,头部区域检测模型使用头部区域数据集进行训练,安全帽佩戴检测使用安全帽与危险区域数据集进行训练,两个模型训练时,先在数据集A训练100轮,然后在数据集B训练100轮,最后在原始数据集上训练300轮;

在训练过程中,设计了TIoU损失函数进行训练,在预测框和真实框不相交时,仅使用预测框和真实框中心点的距离来计算损失函数值,将预测框和真实框沿中心点的横向,纵向等分为四份,并用这四份区域的交集来计算预测框和真实框的方向和位置的损失函数值,公式如下:,

为损失函数的值, 1计算的是预测框 与真实框的交集和预测框与真实框并集的比值, 2计算的是预测框 与真实框的交集和预测框与真实框并集的比值, 3计算的是预测框 与真实框的交集和预测框与真实框并集的比值, 4计算的是预测框 与真实框的交集和预测框与真实框并集的比值, 计算的是预测框四部分与真实框的交集和并集的比值和, , , , 表示真实框的四部分,, , , 表示预测框的四部分, , 分别表示预测框和真实框,表示欧式距离,表示预测框的中心, 表示真实框的中心, 表示最小外接矩形的对角线距离。

4.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法,其特征在于,步骤三中,头部区域检测模型,检测出所有头部区域后,计算所有头部区域的像素总和,计算公式如下:,

表示计算的检测框的像素总和, x1为头部检测框左下角的横坐标, x2为头部检测框右下角的横坐标,y1为头部检测框左下角的纵坐标,y2为头部检测框左上角的纵坐标,x2‑ x1表示检测框的单行横向像素个数,y2 ‑y1表示检测框的单行纵向像素个数;

计算完毕后,对像素总和小于100的区域施加噪声覆盖,噪声计算公式如下:,

在区间[0,255]内独立且服从均匀分布的随机数生成噪声随机数,  为该均匀分布的期望, 为常数,  表示噪声随机数个数,  为取出的所有随机数的和,  为取出的所有随机数的平均值,通过上述公式生成对应的噪声  ,,

表示噪声覆盖后的区域,  表示图像中原来的区域,  表示噪声,p表示区域内的像素总和。

5.根据权利要求2所述基于深度学习的安全帽佩戴的检测方法,其特征在于,易坠落危险区域检测的判断策略;

采用用于检测风速的风速检测仪,所述风速检测仪与无人机相连,无人机接收风速检测仪检测到的风速,并根据风速大小判断是否开启易坠落危险区域检测,风速大小的计算公式如下:,

其中 为实际风速, 为测量风速,为常量,常量 的设置来源于无人机高空悬停时,固定翼高速旋转带起的气流对风速测量仪的影响。

6.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法,其特征在于,所述步骤四中,中心点坐标的计算,公式如下:,

为像素总和在100像素以下检测框的总数, 为上述检测框中心点在图像中的横坐标, 为上述检测框中心点在图像中的纵坐标,通过 , 分别求和并处以 求平均值,得到坐标 ;

步骤五中将中心点的坐标作为摄像头锁定追踪算法的输入,计算摄像头云台的调整参数,根据上述的中心点坐标,与图像中心点坐标计算偏移量,为减少不同分辨率的影响,将偏移量整体放缩到[‑1,1],根据缩放后的偏移量正负得到云台的旋转方向,将偏移量乘以比例系数k得到云台角度的增量,由此得到云台的调整参数,偏移量计算公式如下:

px为横向的偏移量, 为步骤5所述中心点坐标的横坐标, x2为图像中心点的横坐标,py为横向的偏移量,y1为步骤5所述中心点坐标的纵坐标,y2为图像中心点的纵坐标,云台角度增量的计算公式如下:,

为云台角度增量,为云台的比例系数,为横向或纵向的偏移量。

7.一种用于权利要求1所述方法的基于深度学习的安全帽佩戴的检测系统,其特征在于,包括以下模块:图像采集模块:与调整模块相连,包括无人机搭载的云台相机和部署在施工场景下的监控探头,用于获取图像数据,监控探头与云台相机,通过网络将图像信息上传至控制中心;

调整模块:对采集的图像信息进行分析和处理,并对摄像头参数进行调整,对接收的图像信息调用头部区域检测模型检测图中所有的头部区域,计算每一个头部区域的像素和,在100像素以下的区域,使用噪声进行覆盖,100像素及以上的区域不做处理,将图片送至安全帽佩戴检测模型进行安全帽佩戴检测对100像素以下的所有头部区域,计算它们的中心点坐标,将此坐标作为摄像头锁定跟踪算法的输入,控制云台调整摄像头方向,调整后放大镜头倍数继续进行图像采集和检测,直至图像中再无100像素以下头部区域;

风速识别模块:风速检测模块与无人机连接;通过测量空气流动速度与无人机的速度计算准确的实时风速,向控制中心发送风速值,控制中心接收,判断风速是否达阈值,如果达到阈值,则开启易坠落危险区域报警功能;

识别模块:将调整模块处理后的图像输入安全帽佩戴检测模型进行检测,并输出识别结果,若检测出未带安全帽或佩戴普通帽子以及大风环境下施工人员靠近易坠落危险区域,将图片上传至云端,输出报警指令;

报警模块:当接收到识别模块发出的报警指令后,调用摄像头内置音响,发出警示信息,并维持五秒。