欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020114709733
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多信息融合的人体行为检测方法,其特征在于,包括如下步骤:

步骤1,收集工作人员的图像信息和加速度信息;

步骤2,利用目标检测网络模型处理图像信息,使用目标检测网络模型处理图像信息,如果有异常,即检测的图像中不包含设定的目标,则进行提醒;

步骤3,结合加速度信息和图像信息,利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作,然后采用加权融合的方法,最终确定工作人员的动作。

2.如权利要求1所述的一种多信息融合的人体行为检测方法,其特征在于:步骤1中收集工作人员的图像信息和加速度信息的设备包括2个USB摄像头和多个加速度传感器;其中一个USB摄像头1用于获取工作人员的工作图像另一个USB摄像头2用于获取接地桩的图像;

所述加速度传感器用于获取电力工人在作业时加速度的变化情况,可放置在工作人员的腰部或腿部或手臂上。

3.如权利要求1所述的一种多信息融合的人体行为检测方法,其特征在于:步骤2中使用目标检测网络模型处理图像信息,如果有异常,即检测的图像中不包含设定的目标,则进行提醒,其具体实现方式如下;

首先构建目标检测网络模型,包括特征提取模块,多尺度融合模块,特征检测模块;

其中特征提取模块用于提取特征图F1,包含若干个结构相同的子模块,每个子模块包括1个卷积层和1个最大池化层;

多尺度融合模块的输入为特征提取模块提取的特征图F1,包括多个空洞卷积层支路、1个连接层和一个卷积层,将多个卷积层支路的输出特征图输入连接层,最后再通过一个传统卷积层进行多尺度特征融合;

特征检测模块包括依次连接的N层卷积层,其中前N层中除第1层和最后一层单数层外,其他单数层的卷积层后面分别连接池化操作,然后将池化后的特征以及最后一层卷积后的特征进行特征加和,对特征加和后的特征进行池化和全连接操作,然后经过一个区域生成网络,输出标签值和预测检测框;

然后构建训练集,对训练集中的图像通过labeling标注工具,将工作人员,工作服,安全帽,手套,工作绳,接地桩进行标注;

训练阶段,将训练集中图像送入目标检测网络模型进行训练,输出训练好的目标检测网络模型。

检测阶段,将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中,输出USB摄像头1捕捉到的图像中是否包括工作人员,工作服,安全帽,手套,工作绳,如果检测结果中不包含其中任一目标,则为异常;输出USB摄像头2中是否包含接地桩,如果不包含则为异常。

4.如权利要求1所述的一种多信息融合的人体行为检测方法,其特征在于:步骤3中所述不同动作识别算法包括motion excitation模块、multiple temporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络;其中motion excitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息,时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

5.如权利要求1所述的一种多信息融合的人体行为检测方法,其特征在于:步骤3中加权融合的公式为:wi为不同算法的权重,μi为变量,根据不同算法的识别效果在(0,0.5]范围内取值;x表示输入数据,fu(x)是输入数据对应的最终的模式识别结果,其最大的值对应于分类y,而且y∈Y,其中Y为动作类别集合;fi(x)是第i个识别算法的结果,对应权值为wi,[fi(x)=yi]代表与之对应的动作识别分类yi。

6.一种多信息融合的人体行为检测系统,其特征在于:包括图像采集单元、加速度采集单元、目标检测单元、信息融合单元、动作识别单元;

其中,所述图像采集单元用于采集电力工人实时的工作场景的图像信息;

所述加速度采集单元用于提供工人加速度信息;

所述目标检测单元,利用目标检测网络模型处理图像信息,使用目标检测网络模型处理图像信息,如果有异常,即检测的图像中不包含设定的目标,则进行提醒;

信息融合单元,用于结合加速度信息和图像信息,利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作所述动作识别单元,用于采用加权融合的方法对不同算法的识别结果进行融合,确定工作人员最终的动作。

7.如权利要求6所述的一种多信息融合的人体行为检测系统,其特征在于:目标检测单元中使用目标检测网络模型处理图像信息,如果有异常,即检测的图像中不包含设定的目标,则进行提醒,其具体实现方式如下;

首先构建目标检测网络模型,包括特征提取模块,多尺度融合模块,特征检测模块;

其中特征提取模块用于提取特征图F1,包含若干个结构相同的子模块,每个子模块包括1个卷积层和1个最大池化层;

多尺度融合模块的输入为特征提取模块提取的特征图F1,包括多个空洞卷积层支路、1个连接层和一个卷积层,将多个卷积层支路的输出特征图输入连接层,最后再通过一个传统卷积层进行多尺度特征融合;

特征检测模块包括依次连接的N层卷积层,其中前N层中除第1层和最后一层单数层外,其他单数层的卷积层后面分别连接池化操作,然后将池化后的特征以及最后一层卷积后的特征进行特征加和,对特征加和后的特征进行池化和全连接操作,然后经过一个区域生成网络,输出标签值和预测检测框;

然后构建训练集,对训练集中的图像通过labeling标注工具,将工作人员,工作服,安全帽,手套,工作绳,接地桩进行标注;

训练阶段,将训练集中图像送入目标检测网络模型进行训练,输出训练好的目标检测网络模型。

检测阶段,将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中,输出USB摄像头1捕捉到的图像中是否包括工作人员,工作服,安全帽,手套,工作绳,如果检测结果中不包含其中任一目标,则为异常;输出USB摄像头2中是否包含接地桩,如果不包含则为异常。

8.如权利要求6所述的一种多信息融合的人体行为检测系统,其特征在于:信息融合单元中所述不同动作识别算法包括motion excitation模块、multiple temporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络;其中motion excitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息,时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

9.如权利要求6所述的一种多信息融合的人体行为检测系统,其特征在于:动作识别单元中加权融合的公式为:wi为不同算法的权重,μi为变量,根据不同算法的识别效果在(0,0.5]范围内取值;x表示输入数据,fu(x)是输入数据对应的最终的模式识别结果,其最大的值对应于分类y,而且y∈Y,其中Y为动作类别集合;fi(x)是第i个识别算法的结果,对应权值为wi,[fi(x)=yi]代表与之对应的动作识别分类yi。