欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018107628857
申请人: 安徽工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于,其步骤为:

步骤1、采集用户动态手势数据,制作同时包含手势类型标签和用户身份标签的手势训练集;具体过程为:采集用户动态手势数据,捕获用户全身25个关节的三维位置序列,得到该动态手势对应的关节数据样本;然后记录每个手势数据样本对应的手势类型标签和用户身份标签;接着,将所有手势关节数据样本缩放到相同的帧数,其中,样本缩放后的帧索引i与样本缩放前的帧索引indexi之间的对应关系如公示(1)所示:式中,L表示该手势样本缩放前的总帧数,N表示该手势样本缩放后的总帧数;

最后,将缩放后的手势关节数据和记录的用户身份标签和手势类型标签对应起来,得到同时包含手势类型标签和用户身份标签的动态手势数据集合;

步骤2、构建神经网络模型,该神经网络模型包含一个手势识别网络模型和一个将手势特征迁移到身份识别任务中的特征迁移网络模型;其中,特征迁移网络模型与手势识别网络模型具有相同的特征提取层结构,并共享网络参数;所述的手势识别网络模型为一个基于双向门限循环网络的4层手势识别网络模型,手势识别网络模型的前3层为特征提取层,第4层为手势识别输出层;其中,第1层为全连接层,包含512个网络节点;第2层和第3层分别为双向门限循环网络结构的前向层和后向层,均包含512个网络节点;第4层的网络节点个数与手势类型数目相同;手势识别网络模型的输入为手势关节数据,输出为该手势对应的手势类型标签;该网络学习动态手势的关节数据与手势类型标签之间的映射关系,如公示(2)所示:yg=f(x,θg1,θg2,θg3,θg4)  (2)

式中,x和yg分别为输入的手势关节数据和输出的手势类型标签,θg1,θg2,θg3,θg4分别为各层学习到的网络参数;

步骤3、依据步骤1中获得的手势训练集和步骤2中构建的手势识别网络模型,进行手势识别网络模型的训练,调整模型参数;

步骤4、依据步骤1中获得的手势训练集和步骤2中构建的特征迁移网络模型,进行特征迁移网络模型的训练,调整特征迁移层的模型参数;

步骤5、将用户的一组手势数据输入特征迁移网络模型,利用步骤4学习到的网络参数识别出该用户的身份标签。

2.根据权利要求1所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:步骤2中构建的特征迁移网络模型的前3层与手势识别网络的前3层的网络结构相同,并且共享参数。

3.根据权利要求2所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:步骤2中构建一个5层的特征迁移网络模型,特征迁移网络模型的前3层与手势识别网络的前3层的网络结构相同,并且共享参数;特征迁移网络模型的第4层为特征迁移层,为全连接结构,包含1024个网络节点;第5层为身份识别输出层,该层的网络节点个数与用户数目相同。

4.根据权利要求3所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:特征迁移网络模型的输入为手势关节数据,输出为该手势对应的用户身份标签;该网络学习动态手势特征与用户身份标签之间的映射关系,如公示(3)所示:yuser=f(x,θg1,θg2,θg3,θt4,θt5)  (3)

式中,x和yuser分别为输入的手势关节数据和输出的用户类型标签,θg1,θg2,θg3为训练好的手势识别网络模型的前3层网络参数,θt4,θt5为特征迁移网络模型的第4层和第5层网络参数。

5.根据权利要求4所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:步骤2中构建的手势识别网络和特征迁移网络的网络输出层激活函数均采用soft-max函数,如公示(4)表示:其中,x为soft-max函数的输入向量;K为输出层的节点个数,j∈(1,K)为当前输出节点的索引, 为输出层第j个节点的soft-max函数输出,表示预测的手势类别或身份类别的概率分布。

6.根据权利要求5所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:步骤2中构建的手势识别网络和特征迁移网络的网络训练损失函数均采用交叉熵表示,如公示(5)表示:其中,N为网络输入数据的批量大小,yn和 分别表示第n个样本的真实概率分布和预测的概率分布。

7.根据权利要求6所述的一种基于特征迁移学习的转换手势识别到身份识别的方法,其特征在于:步骤3或4利用Tensorflow深度学习库进行网络的训练,并采用梯度下降算法来更新网络参数,如公示(6)表示:其中, 表示网络的第l层参数在第i次权重更新后的值,η为设定的学习率, 为参数下当前网络层的输出代价。