欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020111580256
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,其包括如下步骤:

步骤1、利用RGB摄像机采集人体行为的RGB图像;

步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像,以显示人体的轮廓特征;

步骤3、对步骤2中采集到的红外图像进行初步清晰化处理,去除椒盐噪点;

步骤4、进一步对图像进行优化,得到清晰稳定的图像;

步骤5、将运动的人体从静止的图像背景中分离出来,提取出活动的人体;

步骤6、根据人体的关节点分布情况将人体分为18个关键点,所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚;

步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并,从而形成头部区域,将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并,从而形成躯干区域,将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并,从而形成腿部区域,并将所述三个区域分别提炼为人体的3个关键点;

步骤8、采用粒子滤波算法对所述3个关键点进行跟踪,实现对人体的姿态估计与行为识别;当所述3个关键点竖直时,判定为站立;当所述3个关键点成45°~60°夹角时,判定为下蹲弯腰;当所述3个关键点水平时,判定为平躺;当所述3个关键点下降速率达到6m/s时,判定为跌倒;

步骤9、将步骤8中得到的3个关键点的不同位置情况输入到卷积神经网络CNN,所述卷积神经网络CNN将步骤8中所识别出的动作归类为:平躺、下蹲和跌倒;然后将所述平躺动作标记为L信号,将所述下蹲动作标记为S信号,将所述跌倒动作标记为F信号,并将所述信号传入下一级网络LSTM中;

步骤10、从步骤4得到的图像中,采集所述平躺、下蹲和跌倒动作所分别对应的40帧图像信息,并将所述40帧图像信息输入到基于递归神经网络LSTM模块中的输入门,将所得数据进行归一化处理,得到相同格式的稳定输出视频;所述基于递归神经网络LSTM模块包括输入门、记忆门和输出门;

步骤11、然后将所述基于递归神经网络LSTM模块的输入门输出的视频信息通过sigmoid函数进行标准化处理,将所得视频信息像素值归整化于(‑1,1)之间,便于之后的运算与处理;之后再通过tanh函数对神经网络输入层进行激活处理,用来更新当前状态,减少误差;

实现所述标准化处理所用到的计算公式如下所示:it=σ(Wi[ht‑1,xt]+bi)Dt=tanh(Wc[ht‑1,xt]+bc)式中:xt为视频帧输入像素值,ht‑1为视频帧输出像素值,bi为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值,Wi为递归神经网络系数矩阵权重,it为经过标准化处理过的输出;σ为所得图像帧间方差,Wc为递归神经网络系数矩阵权重,Dt为更新后的状态,bc为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值;

步骤12、将步骤11的输出信息传递到记忆门,所述记忆门对步骤11所得视频帧选择性地存储,将行为识别过程中判定为跌倒的一系列视频存储起来,并根据对跌倒状态的判定来划分优先级别,将跌倒动作完整视频保存下来,用于作下一步的分析;

实现视频选择的计算方法如下:

ft=σ(Wf[ht‑1,xt]+bf)Ct=ft*Ct‑1+it*Dt式中:ft为通过记忆门输出阶段的输出视频信息,Wf为神经网络矩阵权重,ht‑1为上一级视频帧输出,xt为视频帧输入,bf为抵消通过记忆门视频帧丢失而造成的误差的偏置值;Ct为当前视频信息状态,Ct‑1为上一级视频信息输出状态,it为上一阶段经过标准化处理后的输出,Dt为上一级视频信息更新后的输入状态;

步骤13、将记忆门处理过的信息传送到输出门,所述输出门将所得视频归一化处理后,进行跌倒检测分类、识别跌倒以及其他动作状态,并标记跌倒状态;

步骤14、提取步骤13中获取的跌倒状态,统一放置于CNN神经网络中进行存储,并构建跌倒模型库;

步骤15、将被监护人当前状态与模型库进行对比,利用跌倒所述模型库对产生跌倒之前、跌倒过程中和跌倒后的一系列视频帧进行分析,根据跌倒动作产生的速度和人体关键点的位置关系,对人体跌倒进行判断,实现跌倒预判功能。

2.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,所述步骤3采用中值滤波算法对所述步骤2中采集到的红外图像进行处理,去除椒盐噪点,对图像进行初步清晰化处理;

所述中值滤波去噪使用的公式如下:其中,g为最终得到的图像灰度值,N为滤波器模板大小,XK为图像中的像素;k为位置编号。

3.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,所述步骤4运用形态学操作,对图像进行优化,从而得到清晰稳定的图像;所述形态学操作包括膨胀、腐蚀、开操作和闭操作。

4.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,所述步骤5采用背景减法建模方法将运动的人体从静止的图像背景中分离出来,提取出活动的人体,从而实现对人体的运动跟踪;

实现所述背景减法建模的计算公式如下所示:其中,C是利用背景减法建模方法从所述步骤4处理后的图像中获取的前景图像,B为通过背景减法建模方法从所述步骤4中得到的背景图像,a为设定阈值,用以区分有无明显像素变化,超过阈值则为前景,小于阈值为背景,F为获取的前景图像。

5.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,步骤10中,所述归一化处理使用的公式如下所示:其中,y为归一化后的图像输出像素值,x为所得图像当前帧的像素值,δ为所得图像帧间方差,β为所得图像对比度,Mean为求取平均值函数,StandardDeviation为求取标准差函数,Constant为求取对比度函数。

6.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,步骤14中基于如下公式构建跌倒模型库:Ot=σ(Wo[ht‑1,xt]+bo)ht=ot*tanh(ct)

式中:Ot为最终输出函数,Wo为神经网络矩阵系数权重,ht‑1为上一级视频输出,xt为视频输入,bo为输出视频信息补偿值,ht为当前视频信息输出状态,Ct为上一级视频输出状态。

7.根据权利要求1所述的基于人体关键点行为识别与LSTM的跌倒预判方法,其特征在于,步骤15中,当人体的3个关键点下降速率达到6m/s,3个关键点水平时,判断为跌倒。