1.基于深度学习的自动识别人员进入电力危险区的检测方法,其特征在于,确定电力危险区在电力现场图像中的坐标后,利用作业人员现场位置检测网络对电力现场的视频图像进行实时检测,识别人员的位置坐标,判断人员是否进入电力危险区;
所述作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络;所述深度残差网络包括多个残差瓶颈结构,用于从视频图像中提取多个层次的浅层、深层图像特征;所述浅层特征融合网络用于对深度残差网络提取的不同层次的浅层图像特征进行融合;所述深层特征融合网络用于对深度残差网络提取的不同层次的深层图像特征进行融合;所述多尺度识别网络包含多尺度感知模块,用于大、小目标的检测;
所述检测方法包括以下步骤:
步骤1:拍摄采集电力现场图像;
步骤2:以图像左上角为坐标原点,建立像素坐标系;
步骤3:划定电力现场图像中的危险区,确定危险区的坐标;
步骤4:将电力现场实时的视频流输入到作业人员现场位置检测网络,根据所述检测网络的输出确定作业人员的坐标;
步骤5:将步骤4得到的作业人员的坐标与危险区的坐标实时对比,判断作业人员是否位于危险区,若人员进入危险区,则发出警报;
作业人员现场位置检测网络对电力现场的视频图像的实时检测过程包括如下3个阶段:第一阶段,深度残差网络从视频图像中提取多个层次的浅层、深层图像特征,所述深度残差网络包括依次相连的5个残差瓶颈结构,每个残差瓶颈结构都包括一个卷积核大小为3×3的卷积层和ReLu激活函数,用于调整下一层残差瓶颈结构输入的特征图大小;
第二阶段,分别利用浅层特征融合网络、深层特征融合网络对不同层次的浅层、深层图像特征进行特征融合;
浅层特征融合网络将深度残差网络的第一残差瓶颈结构、第二残差瓶颈结构、第三残差瓶颈结构提取的图像特征进行特征融合,再将融合的图像特征进行2个分支的卷积处理,其中第一个分支依次进行卷积核大小为1×3的卷积和卷积核大小为3×1的卷积,第二个分支依次进行卷积核大小为3×1的卷积和卷积核大小为1×3的卷积,然后将第一个分支和第二个分支输出的图像特征进行特征融合后,输入激活函数中激活处理;
深层特征融合网络将深度残差网络的第四残差瓶颈结构、第五残差瓶颈结构提取的深层图像特征进行特征融合后分为2个分支,其中一个分支依次进行全局池化、全连接、全连接、激活函数的处理,另一个分支进行加权处理,然后将2个分支输出的特征图像进行特征融合;
第三阶段,利用多尺度识别网络根据浅层特征融合网络、深层特征融合网络输出的特征图像分别进行大、小目标检测;
所述多尺度识别网络包括依次连接的4层卷积核大小为3×3的卷积、激活函数层,其中第2层卷积、激活函数层的输出送入多尺度感知模块进行大目标检测,第4层卷积、激活函数层的输出送入另一个多尺度感知模块进行小目标检测。
2.根据权利要求1所述的自动识别人员进入电力危险区的检测方法,其特征在于,所述残差瓶颈结构,对输入先进行批归一化、ReLu激活函数的处理后,再进行卷积核大小为1×1的卷积升维、批归一化、ReLu激活函数的处理,然后进行卷积核大小为3×3的卷积、ReLu激活函数的处理,最后进行卷积核大小为1×1的卷积使通道数与原始输入图像的通道数一致,并与输入图像进行特征融合。
3.根据权利要求1所述的自动识别人员进入电力危险区的检测方法,其特征在于,所述多尺度感知模块包括4个分支,其中第一分支进行卷积核大小为1×1的卷积;第二分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞卷积;第三分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞卷积;第四分支依次进行卷积核大小为1×1的卷积、卷积核大小为3×3的卷积,最后将4个分支的输出进行自适应特征融合。
4.根据权利要求3所述的自动识别人员进入电力危险区的检测方法,其特征在于,所述自适应特征融合,是将多尺度感知模块中4个分支输出的不同感受野大小的特征图进行融合,对4个分支分别设置不同的权重进行加权求和,得到最终的特征图Y,具体表达式如下:Y=α×X1+β×X2+χ×X3+ε×X4
α+β+χ+ε=1
式中Xi,i=1,2,3,4表示第i分支输出的特征图;α,β,χ,ε分别表示第一分支、第二分支、第三分支、第四分支的权重;λα,λβ,λχ,λε分别表示对输入特征图Xi,i=1,2,3,4进行1×1卷积降维后的单通道特征图。
5.根据权利要求4所述的自动识别人员进入电力危险区的检测方法,其特征在于,步骤
3中,所述划定电力现场图像中的危险区,基于像素坐标系,采用人工方式确定危险区对应的图像块的坐标数据LD,LD=(uD,vD,wD,hD)
式中uD是危险区范围在u轴上的值,vD是危险区范围在v轴上的值,wD是危险区范围的长度,hD是危险区范围的高度。
6.根据权利要求5所述的自动识别人员进入电力危险区的检测方法,其特征在于,步骤
4中,所述确定作业人员的坐标,得到图像中作业人员的坐标数据Lp,
LP=(uP,vP,wP,hP)
式中up是作业人员的坐标在u轴上的值,vp是作业人员的坐标在v轴上的值,wp是作业人员的坐标的长度,hp是作业人员的坐标的高度。
7.根据权利要求6所述的自动识别人员进入电力危险区的检测方法,其特征在于,步骤
5采用危险区域判定法判断作业人员是否位于危险区;
所述危险区域判定法将人工划定的危险区域LD=(uD,vD,wD,hD)和人员现场位置检测网络中得到作业人员的位置LP=(uP,vP,wP,hP)进行实时对比,具体计算式如下:当式(1)(2)(3)(4)全部成立时,判定作业人员正在危险区内,则发出实时警报,提醒作业人员。