欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021103022197
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法,其特征在于,包括以下步骤:

1)数据采集:获取不同违规行为的视频数据并进行切片,将连续的视频数据转换为连续的图像,标记每一组连续图像所属的违规行为;

2)对图像进行预处理;

3)对预处理后的图像进行目标检测,得到目标检测框;

4)将带有目标检测框的图像作为CPN网络的输入,提取目标检测框中的人体骨架,标记关节点,得到带有目标检测框和关节点标记信息的图像;将每组中带有目标检测框和关节点标记信息的图像均转换为像素矩阵;

5)将步骤4)得到的每一组像素矩阵作为一个样本,构成样本训练集;利用样本训练集对LSTM模型进行训练,输入LSTM模型中的数据为按时间序列排序的像素矩阵a=(a1,a2,a3,a4,…,an),其中ai表示该组中的第i个图像对应的像素矩阵,得到该样本属于每一项违规行为的概率,构成概率矩阵;

6)利用隐马尔可夫模型对概率矩阵进行修正,取修正后的概率矩阵中最大概率值对应的违规行为作为最终的预测结果,根据预测结果和真实结果对隐马尔可夫模型进行训练;

所述的隐马尔可夫模型的建立过程为:

6.1)确定隐含状态集为S={s1,s2,...,sN},观测状态集为O={o1,o2,...,oN},N为违规行为的类型数量;

6.2)确定状态转移概率矩阵A=[aij]N*N,且当前时刻的状态只与上一时刻的状态有关,即:aij=p(yt+1=sj|yt=si)

其中,yt表示t时刻的状态,yt=si表示t时刻的状态为si,yt+1=sj表示t+1时刻的状态为sj;p(yt+1=sj|yt=si)表示当t时刻的状态为si时,那么t+1时刻的状态为sj的概率值;aij为观测概率矩阵A中第i行第j列的元素,即在t‑1时刻时,模型的状态为si,在t时刻时,模型的状态转移到sj;

6.3)确定观测概率矩阵B=[bij]N*N:

bij=p(xt=oj|yt=si)

其中,oj表示第j个观测值,xt表示t时刻的观测值,xt=oj表示t时刻的观测值为oj;p(xt=oj|yt=si)表示当t时刻的状态为si时,那么t时刻的观测值为oj的概率值;bij为观测概率矩阵B中第i行第j列的元素,即在状态si的条件下出现观测值oj的概率值;

6.4)将LSTM模型输出的概率矩阵作为初始状态概率分布Π(Π1,Π2,…,ΠN):Πi=p(y=si)

其中,Πi表示属于状态si的概率;

7)获取待预测的视频数据,通过步骤1)至4),将待预测的视频数据转换为待处理的像素矩阵,利用训练好的LSTM模型得到初始概率矩阵,再经训练好的隐马尔可夫模型对初始概率矩阵进行修正,取修正后的概率矩阵中最大概率值对应的违规行为作为最终的预测结果。

2.根据权利要求1所述的基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法,其特征在于,步骤2)所述的预处理方法为滤波方法,以图片上的像素点为中心取正方形区域,将区域中每个像素点的灰度值进行排序,取排序的中间值作为中心像素灰度的新值,以滑窗的方式遍历图像。

3.根据权利要求1所述的基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法,其特征在于,步骤3)中的目标检测过程包括:将一组内的连续图像依次进行尺寸调整并提取特征,获得特征图;

将特征图进行一次卷积,集中特征信息,之后分为两个支路:第一支路中,先经过rpn_data层,区分出人和背景,输出标记为人的候选框;第二支路中,计算候选框的偏移量并输出;

对候选框进行越界剔除和使用NMS非最大值抑制,剔除掉重叠的框;将剩余的候选框和特征图输入ROIPooling层,将候选框映射到特征图上,再经过全连接层后输出。

4.根据权利要求1所述的基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法,其特征在于,在步骤4)和步骤5)之间还包括将像素矩阵进行特征提取和降维的步骤,具体为:将步骤4)得到的像素矩阵输入卷积层进行特征提取,再进入池化层进行降维;降维后的像素矩阵作为LSTM模型的输入。