欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021103651254
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于图结构姿态聚类的人体异常行为检测方法,其特征是,包括:获取待检测视频;

对待检测视频的每一帧图像进行骨骼跟踪,得到包含k个骨骼节点的骨骼序列;其中,k为正整数;获取骨骼节点的时空关系示意图;

对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理,得到待检测视频的最终学习向量;

所述对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理,得到待检测视频的最终学习向量;具体包括:获取每一帧中骨骼节点的二维位置坐标;将每个骨骼节点的二维坐标位置转换为二进制表示形式;

对每一帧图像中每个骨骼节点的二进制形式的坐标位置,进行三角函数位置编码,得到编码后的位置;

将二进制表示的位置与三角函数编码后的位置,进行对位相加,将对位相加后的结果每一行的末尾均与其下一行的行首相接,得到每一帧图像对应的一行向量;

将视频中所有帧所对应的向量进行并联拼接,得到m行向量;m表示视频中帧的总个数;

对m行向量的每一行向量,利用随机函数随机生成位置编码,得到每一行的学习向量;

所以,m行向量就得到m个学习向量;对m个学习向量进行按行拼接,得到待检测视频的最终学习向量;

将最终学习向量,输入到训练后的编码器encoder中,输出待分类的动作向量;

所述训练后的编码器encoder,其训练步骤包括:

构建训练集,所述训练集为已知分类标签的最终学习向量;

将训练集已知分类标签的最终学习向量作为编码器encoder的输入值,对编码器encoder进行训练,训练次数达到设定次数后,停止训练,得到训练后的编码器encoder;

在编码器encoder训练过程中,将训练集已知分类标签的最终学习向量作为编码器encoder的输入值,将编码器encoder输出得到的对应动作向量存入行为词典中,每一个动作向量均保存下来,就得到了对应的行为词典;行为词典是指存放分类标签和与其对应的动作向量的容器;行为词典,包括:所有分类标签以及与其对应的动作向量;

将待分类的动作向量和已知分类标签的动作向量进行聚类,得到当前待分类动作向量属于每个已知分类标签的概率值;

判断所述概率值是否超过设定阈值,如果超过设定阈值,则表示当前待检测视频存在人体异常行为;否则,表示不存在人体异常行为。

2.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法,其特征是,对待检测视频的每一帧图像进行骨骼跟踪,得到包含k个骨骼节点的骨骼序列;其中,k为正整数;具体包括:利用基于OpenPose的人体姿态检测算法,对待检测视频的每一帧图像进行骨骼跟踪,得到包含k个骨骼节点的骨骼序列。

3.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法,其特征是,获取骨骼节点的时空关系示意图;具体包括:在每一帧图像内,按照人体骨架连接关系,将骨骼节点进行连线,得到骨骼节点的空间关系示意图;

对相邻帧的同一骨骼节点进行连线,得到骨骼节点的时间关系示意图;

综合空间关系示意图和时间关系示意图,得到骨骼节点的时空关系示意图。

4.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法,其特征是,将最终学习向量,输入到训练后的编码器encoder中,输出待分类的动作向量;具体包括:将最终的学习向量输入到训练后的编码器encoder中:

先是经过注意力机制学习向量之间的联系,获得一个attention向量;

再将最终学习向量与attention向量进行残差连接;

最后,进行前向传播,得到待分类的动作向量。

5.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法,其特征是,将待分类的动作向量和已知分类标签的动作向量进行聚类,得到当前待分类动作向量属于每个已知分类标签的概率值;具体包括:利用自编码聚类算法Deep Embedded Clustering,将待分类的动作向量和行为词典中已知分类标签的动作向量进行聚类,得到当前待分类动作向量属于每个已知分类标签的概率值。

6.基于图结构姿态聚类的人体异常行为检测系统,其特征是,包括:获取模块,其被配置为:获取待检测视频;

骨骼跟踪模块,其被配置为:对待检测视频的每一帧图像进行骨骼跟踪,得到包含k个骨骼节点的骨骼序列;其中,k为正整数;获取骨骼节点的时空关系示意图;

向量提取模块,其被配置为:对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理,得到待检测视频的最终学习向量;

所述对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理,得到待检测视频的最终学习向量;具体包括:获取每一帧中骨骼节点的二维位置坐标;将每个骨骼节点的二维坐标位置转换为二进制表示形式;

对每一帧图像中每个骨骼节点的二进制形式的坐标位置,进行三角函数位置编码,得到编码后的位置;

将二进制表示的位置与三角函数编码后的位置,进行对位相加,将对位相加后的结果每一行的末尾均与其下一行的行首相接,得到每一帧图像对应的一行向量;

将视频中所有帧所对应的向量进行并联拼接,得到m行向量;m表示视频中帧的总个数;

对m行向量的每一行向量,利用随机函数随机生成位置编码,得到每一行的学习向量;

所以,m行向量就得到m个学习向量;对m个学习向量进行按行拼接,得到待检测视频的最终学习向量;

编码模块,其被配置为:将最终学习向量,输入到训练后的编码器encoder中,输出待分类的动作向量;

所述训练后的编码器encoder,其训练步骤包括:

构建训练集,所述训练集为已知分类标签的最终学习向量;

将训练集已知分类标签的最终学习向量作为编码器encoder的输入值,对编码器encoder进行训练,训练次数达到设定次数后,停止训练,得到训练后的编码器encoder;

在编码器encoder训练过程中,将训练集已知分类标签的最终学习向量作为编码器encoder的输入值,将编码器encoder输出得到的对应动作向量存入行为词典中,每一个动作向量均保存下来,就得到了对应的行为词典;行为词典是指存放分类标签和与其对应的动作向量的容器;行为词典,包括:所有分类标签以及与其对应的动作向量;

聚类模块,其被配置为:将待分类的动作向量和已知分类标签的动作向量进行聚类,得到当前待分类动作向量属于每个已知分类标签的概率值;

异常行为检测模块,其被配置为:判断所述概率值是否超过设定阈值,如果超过设定阈值,则表示当前待检测视频存在人体异常行为;否则,表示不存在人体异常行为。

7.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1‑5任一项所述的方法。

8.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑5任一项所述的方法。