1.一种基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法,其特征在于,包括以下步骤:(1)使用Kinect设备获取人体的深度图像和骨骼图像;
(2)对深度图像进行特征提取;
(3)对骨骼图节点进行坐标转换;
(4)计算互信息得到关键帧,表征具体的行为;
(5)提取关键帧的三个模型组成骨骼特征;
(6)将深度特征与骨骼特征进行权重融合得到识别分类模型;
(7)根据行为识别模型进行判断;
(8)判断跌倒后,发出跌倒警报。
2.根据权利要求1所述的基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法,其特征在于,所述对深度图像进行特征提取,就是将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上,获得3个视角的投影图。对深度运动图进行截取感兴趣区域操作,用以保证并保证相同角度的投影图大小一致。然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征FD。假设一个深度图像序列具有M帧,则深度运动图I计算方式为 其中vt表示深度图像序列在第t帧深度投影图;
对骨骼图节点进行坐标转换,就是以脊柱点为原点统一新的坐标系,将骨骼图节点统一到该坐标系下;
计算互信息得到关键帧,表征具体的行为,就是计算相邻两帧骨骼图之间的互信息,运用互信息判断相邻两帧骨骼图之间的相似度,若值越大,两帧的差异就越大,若值越小,两帧的相似度就越高,选取平均互信息作为判别依据,用多帧来表征具体的行为;
提取关键帧的三个模型组成骨骼特征,就是提取静态姿态模型fcc、当前运动模型fcp、全局偏移模型fco,将三个模型得到的特征组成一帧骨骼图的底层特征Fc=[fcc,fcp,fco],对求得的特征进行归一化,避免一些较小元素范围中的较大元素占主导地位的情况,由于每个骨骼图序列获得关键帧的数量是不同的,故用基于高斯混合模型的费希尔向量处理不同长度的特征,得到骨骼特征FS;
将深度特征与骨骼特征进行权重融合得到识别分类模型,就是将深度特征FD与骨骼特征FS分别输入到极限学习分类器中,将得到的预测标签分配不同权重μ,最终得到最可能的分类标签l*,得到识别模型;
根据行为识别模型进行判断,就是将当前行为使用得到的识别模型进行判断,得到最终的结果;
判断跌倒后,发出跌倒警报,就是若当前行为为老年人跌倒,则利用短信发送设备,发送短信给老年人的子女等,以便及时的处理。
3.根据权利要求2所述的基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法,其特征在于,计算互信息得到关键帧,表征具体的行为,具体为:
1)互信息(mutual information,MI)是一种有用的信息度量,可看成是一个随机变量中包含的关于另一个随机变量的信息量,其计算方式为MI=h(St)+h(St+1)-h(St,St+1)。附图
3的符合描述。熵h(St)衡量了第t帧骨骼图S的活跃程度,熵h(St,St+1)表示相邻两帧骨骼图之间的相似度,h(St)与h(St,St+1)之间的数学关系如图2所示;
2)h(S)的计算方式为
3)两帧骨骼图之间的h(St,St+1)的计算方式:其中,r,k表示骨骼图第t帧和第t+1的值,r的概率分布函数是具体方法步骤如下:
输入:骨骼图序列的节点坐标值,该骨骼图序列共有M帧,每帧有N个节点输出:骨骼图序列的关键帧
Step1.对骨骼图节点进行坐标转换,获得以脊柱点为原点的新骨骼节点坐标Step2.计算相邻两帧骨骼图之间的MI及平均互信息Step3.标记每个MI对应的骨骼图,如果 则记为1,否则记为0Step4.保留符合条件的帧对应的骨骼图
①.第d×(a-1)+1帧到第d×a帧对应骨骼图的标记之和不为0,保留所有标记为1对应的骨骼图,否则保留第 帧骨骼图,其中初始值a=1②.a←a+1
③.重复①,②,直到
对提取关键帧的三个模型组成骨骼特征,做进一步说明:
1)静态姿态模型fcc:指人体在某个时刻的姿态,对于挥手动作而言,脚步动作是相对静止的,而手部的位置变化较大。该模型可以突出变化明显的部位,计算方式:fcc={si-sj|i∈[1,N-1],j∈[2,N],i
2)当前运动模型fcp:指相邻两帧骨骼图节点间的变化,可以突出当前节点的变化幅度,计算方式:其中,p表示当前帧c的前一帧, 指当前帧c的第i个节点的坐标值,一帧骨骼图记为S=[s1,s2,…sN],S∈RN×3,Sc表示当前帧c的骨骼图;
3)全局偏移模型fco:指c相对初始帧o的节点动态位置变化,该模型可以反应当前节点的变化趋势,具有全局性,计算方式:。