欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023108400548
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的风险识别方法,其特征在于,包括如下步骤:

步骤1,对多个场景下的数据进行预处理;

步骤2,设计风险识别网络,并添加注意力机制对网络进行优化,并设计相应的损失函数、调节训练的参数,以输出含有目标所属类别的概率的检测结果;

步骤2中风险识别网络的具体处理过程如下:

首先获得图像的原始特征Original Feature,然后在第一个模块中利用主干网络进行特征提取,得到基础特征Base Feature,基础特征Base Feature中包含了不同尺度和层次的特征信息的融合,之后再分别对基础特征进行卷积操作后进入第二模块;第二模块包括多个堆叠的瘦长U型网络结构SUE,每个SUE分为编码与解码部分,编码部分为基于编码器的结构,利用多组卷积、池化操作对输入特征进行逐层提取和下采样,捕捉不同尺度下的局部特征和空间信息;解码部分为基于解码器的结构,通过多组上采样和卷积操作逐步恢复特征的空间分辨率,并将其与来自编码部分的相应尺度的特征进行融合;除第一个SUE是以卷积处理后的基础特征为输入外,其他的SUE是将卷积处理后的基础特征和上一个SUE模块中的最大特征作为输入;堆叠的SUE模块的输出形成多层次、多尺度的特征,再通过聚合多层次的特征金字塔,将不同尺度上有不同分辨率与信息的特征图进行聚合得到包含多尺度的输出特征图;最后利用注意力机制进行优化,并进行目标检测任务,输出含有目标所属类别的概率的检测结果;

注意力机制的具体操作如下:

首先,使用聚合处理过的输出特征图作为起始点,然后将其分为三个分支:第一个分支中不经过任何处理,将原输入特征图直接输出;在第二个分支中,对输入特征图进行卷积操作,以提取局部特征和细节信息,在第三个分支中,分别对输入特征图进行不同尺度的卷积操作,这三个卷积产生的特征图具有不同的感受野和语义信息,接下来,将第三个分支中经过卷积处理后的输出特征图进行拼接,将它们在通道维度上连接在一起,在拼接后的特征图上,使用softmax激活函数,对通道维度上的特征进行归一化,以产生一个具有置信度分布的特征图;最后,将第二个分支的卷积输出结果和经过softmax操作后的特征图进行相乘操作,用于加权调节它们之间的相对重要性并促进特征之间的交互;

接着,先对处理过的特征图进行多组件残差卷积操作,其由瓶颈层、残差连接层与扩张卷积层组成,再送入通道注意模块,通道注意模块具体操作是分别对特征图进行全局平均池化和全局最大池化,得到两个向量,再将这两个向量相加,得到通道维度上的向量权重,然后将这个向量权重进行softmax归一化操作后与第一分支中的原输入特征图相乘,得到具有通道注意的特征图;

最后,在获取具有通道注意力机制的特征图后,先对其进行多组件残差卷积操作,然后送入空间注意模块,其具体操作是先分别对特征图进行全局最大池化与全局平均池化,然后将这两个特征图进行拼接,再进行卷积操作生成一维的特征图,并对其进行sigmoid处理,引入非线性变换,增加模型的拟合能力,之后与具有通道注意力的特征图相乘得到空间注意力特征图,最后将通道注意力特征图直接与通道注意力模块中的向量权重进行相乘,输出同时具备通道注意与空间注意的特征图;

步骤3,使用预处理后的数据集对风险识别网络进行训练,获得风险识别模型;

步骤4,使用训练好的风险识别模型实时检测现场采集的图像,当现场情况不符合规范时进行语音提醒。

2.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:步骤1中所述预处理包括:首先收集来自电力作业、煤矿开采、建筑施工和化工生产领域的施工现场图像数据集;

接下来,对这些图像进行标注,将各个情况下的人员与物件进行区分,以供风险识别网络进行监督式学习;在数据清洗阶段,对数据集进行了清洗,去除噪声、重复图像和低质量图像,以确保数据集的质量和准确性;应用数据增强技术,通过图像旋转、翻转、缩放、剪切、亮度调整操作,生成更多变化的图像样本;最后,将数据集划分为训练集、验证集和测试集,以进行风险识别网络的训练、调优和评估。

3.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:主干网络进行特征提取的实现过程如下:输入原始特征,使用1x1卷积、3x3卷积和1x1卷积的组合处理后得到一个经过特征变换和综合处理的特征表示,再同时使用3x3、5x5和7x7的卷积操作在网络中获得不同尺度的感受野和特征,之后再对不同尺度的特征进行拼接操作,将不同尺度的特征信息融合到一起,得到一个具有更高维度的特征表示;下一步,在网络中引入不同尺度的卷积和上采样操作,从而获得多层次的特征图,每个层级的特征图对应不同的感受野和分辨率,用于捕捉到不同尺度上的风险信息,具体地说,经过拼接操作后,分别对拼接后的特征进行卷积处理:首先,对第一个卷积后的特征进行上采样操作,并将其与第二个分支中卷积后的特征进行拼接;然后,对拼接后的特征再进行上采样处理,并与第三个分支中的卷积后的特征进行拼接;最终,得到的是一种基础特征Base Feature,其中包含了不同尺度和层次的特征信息的融合,之后再分别对其进行卷积操作后进入第二模块。

4.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:第二模块包括

3个堆叠的瘦长U型网络结构SUE,编码部分包括四组卷积和池化操作,解码部分包括四组上采样和卷积操作;3个堆叠的瘦长U型网络结构SUE处理之后分别得到浅层特征Shallow,中层特征Medium,深层特征Deep。

5.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:步骤2中的损失函数由中心距离损失、重叠损失、宽高损失和类别置信度损失组成;

其中,中心距离损失用于约束预测框的中心点与真实标签框的中心点之间的距离,以保证预测框能够准确地对应目标的位置,中心距离损失 的公式表示为:(1);

其中,表示第i个预测框的中心点坐标,表示第i个真实标注框的中心点坐标,为对应的权重系数,N表示样本数量,是一个常数,用于避免分母为0的情况;

重叠损失用于衡量预测框与真实标签框之间的重叠程度,以促使预测框与目标框的边界更加匹配,重叠损失 的公式表示为:(2);

其中, 、 、 、 分别表示预测框和真实框在x轴、y轴、宽度和高度上的差异, 、、 、 是用户平衡不同部分损失权重的系数;SmL1是改进的平滑L1损失函数,该函数定义为:(3);

其中,x表示自变量,是可调节的参数,用于调节平滑性和敏感性的程度,是一个常数,用于避免分母为0的情况,c为常数1;

宽高损失用于约束预测框的宽度和高度、真实标签框的宽度和高度以及预测宽高比与真实宽高比之间的差异,确保预测框的形状与目标的形状相似,宽高损失 的公式表示为:(4);

其中, 和 分别表示第i个预测框的宽度和高度, 和 分别表示第i个真实标注框的宽度和高度,和 分别表示预测的宽高比和真实的宽高比, 为超参数,用于平衡权重;

类别置信度损失则用于优化预测框的类别预测结果,使其更准确地反映目标的类别,类别置信度损失 的公式表示为:(5);

其中, 表示第i个真实标注框的类别标签, 表示第i个预测框的类别标签,为对应的权重系数;

综合以上的损失函数,将其进行加权组合组成总体的CokC损失函数:

(6);

其中, 、 、 和 为对应的权重系数,用于平衡不同部分损失的重要性。

6.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:步骤2中调节训练的参数的具体实现方式为,首先根据当前训练的状态和损失函数的梯度信息,引入Adam算法自适应调整学习率,在训练过程中自动控制参数更新的步幅;再通过L2正则化技术调节,防止模型过拟合。

7.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:步骤3中风险识别网络的训练过程为,先对网络进行初始化,设置初始权重参数,然后,将训练数据输入到网络中,通过前向传播计算得到网络的预测输出;将预测输出与真实标签进行比较,计算损失函数的值来衡量预测结果的误差;通过反向传播算法计算梯度,并使用优化算法根据梯度更新模型的参数,以减小损失函数的值,并重复进行多次迭代训练;在训练过程中,使用验证数据集对模型进行评估和调整,以选择最佳的参数配置,最后,保存训练得到的模型参数,用于后续的测试和应用阶段。

8.如权利要求1所述的一种基于深度学习的风险识别方法,其特征在于:步骤4的具体实现方式如下:获取实时监控视频,对视频进行逐帧解析得到每一帧的图像,将解析后的图像送入风险识别模型之中,识别工作人员是否穿戴必备防护装备或进行违章违规操作,若检测到异常,系统将自动进行语音报警,及时提醒工人,并记录工作人员的异常行为方式,保存作业现场的视频和图像关键日志,生成工作报告,以便日后查看进而提醒作业人员。