1.一种基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,该方法是根据Kinect设备所捕捉到的人体骨架特征信息,提取出人体关节点运动学特征信息,对基于时间维度的每个关节点空间位置数据进行数据预处理,利用预处理后的数据构建数据集,使用数据集进行抑郁症识别神经网络模型的训练和测试;具体如下:S1、收集人体骨架运动学特征数据;
S2、提取人体骨架运动学特征数据;
S3、特征数据预处理并制作数据集;
S4、构建及训练抑郁症识别神经网络模型;
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。
2.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,所述步骤S1中收集人体骨架运动学特征数据具体如下:S101、开启Kinect设备进行人体骨架运动学特征数据的收集;
S102、引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
S103、打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
S104、待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表得分;其中,实验对象分为抑郁组和非抑郁组;
S105、根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据。
3.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,所述步骤S2中提取人体骨架运动学特征数据具体如下:S201、遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件,读取原始记录数据;
S203、提取基于.xef记录文件的时间序列数据;
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:S205、针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
S206、获得实验对象的提取结果,并以实验对象的名称保存为csv格式的文件。
4.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,所述步骤S3中特征数据预处理并制作数据集具体如下:S301、读取提取得到的实验对象csv文件;
S302、读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
S303、读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
S304、将标准化后的数据写入到步骤S302中的csv文件;
S305、将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
S307、对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集。
5.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下:S401、将训练集数据输入到时间卷积神经网络,得到时间卷积神经网络输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别。
6.根据权利要求1-5中任一所述的基于人体骨架运动学特征信息的抑郁症识别方法,其特征在于,所述步骤S5中完成抑郁症的识别诊断,得到预测结果并计算准确率具体如下:S501、采用softmax作为分类器进行抑郁症的识别诊断,公式为:其中,Si表示第i类的softmax预测值;i和j均为类别序号;
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
S503、将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
S504、预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
7.一种基于人体骨架运动学特征信息的抑郁症识别系统,其特征在于,该系统包括,数据收集模块,用于收集人体骨架运动学特征数据;
数据提取模块,用于提取人体骨架运动学特征数据;
预处理及数据集制作模块,用于特征数据预处理并制作数据集;
模型构建及训练模块,用于构建及训练抑郁症识别神经网络模型;
结果预测及准确率计算模块,用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。
8.根据权利要求7所述的基于人体骨架运动学特征信息的抑郁症识别系统,其特征在于,所述数据收集模块包括,设备开启及数据收集子模块,用于开启Kinect设备进行人体骨架运动学特征数据的收集;
指令播放子模块,用于引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
数据录制子模块,用于打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
抑郁状态评估子模块,用于待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表得分;其中,实验对象分为抑郁组和非抑郁组;
筛选子模块,用于根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据;
所述数据提取模块包括,
文件路径记录子模块,用于遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
原始记录数据读取子模块,用于执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件,读取原始记录数据;
时间序列数据提取子模块,用于提取基于.xef记录文件的时间序列数据;
噪音数据剔除子模块,用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:四元数提取子模块,用于针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
提取结果获得子模块,用于获得实验对象的提取结果,并以实验对象的名称保存为csv格式的文件;
所述预处理及数据集制作模块包括,
文件读取子模块,用于读取提取得到的实验对象csv文件;
时间序列读取子模块,用于读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
标准化数据预处理子模块,用于读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
文件写入子模块,用于将标准化后的数据写入到csv文件;
对象标注子模块,用于将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
数据集制作子模块,用于通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
数据集划分子模块,用于对数据集采用随机划分的模式,将数据集70%设为训练集,
30%用做测试集;
所述模型构建及训练模块包括,
时间卷积神经网络结果输出子模块,用于将训练集数据输入到时间卷积神经网络,得到时间卷积神经网络的输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
瓶颈卷积神经网络结果输出子模块,用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
抑郁症识别子模块,用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别;
所述结果预测及准确率计算模块包括,
识别诊断子模块,用于采用softmax作为分类器进行抑郁症的识别诊断,公式为:其中,Si表示第i类的softmax预测值;i和j均为类别序号;
预测类获取子模块,用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
比较子模块,用于将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
损失计算子模块,用于预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
9.一种电子设备,其特征在于,包括:存储器和至少一个处理器;
其中,所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至6任一项所述的基于人体骨架运动学特征信息的抑郁症识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行时,实现如权利要求1至6中所述的基于人体骨架运动学特征信息的抑郁症识别方法。