1.一种基于时空序列图的手势检测方法,其特征在于,包括:构建手部关节点的时空序列图,提取每个关节点和与其相邻关节点之间的特征关系;
对特征关系进行位置编码操作,得到位置编码向量;
结合位置编码向量和特征关系,编码得到动作向量;对动作向量进行时序编码,获得关节点与其他关节点的时空关系向量;
将动作向量和时空关系向量进行聚类分析,实现手势的分类识别。
2.根据权利要求1所述的基于时空序列图的手势检测方法,其特征在于,构建手部关节点的时空序列图包括:对视频进行手部关节点提取,手部的自然骨架连接和两只手对应关节点的连接来构造空间图,连续帧之间相同的关节点连接构建得到所述时空序列图。
3.根据权利要求1所述的基于时空序列图的手势检测方法,其特征在于,将构建好的时空序列图输入图卷积神经网络GCN模块,提取每个关节点和与其相邻关节点之间的特征关系,输出特征向量。
4.根据权利要求3所述的基于时空序列图的手势检测方法,其特征在于,将特征向量作为空间编码器C‑Encoder部分的embedding输入,进行位置编码PositionalEncode操作,得到位置编码向量。
5.根据权利要求4所述的基于时空序列图的手势检测方法,其特征在于,将得到的位置编码向量与GCN输出的特征向量对位相加,输入到C‑Encoder模块中,经过编码得到动作向量。
6.根据权利要求5所述的基于时空序列图的手势检测方法,其特征在于,将得到的动作向量作为时序编码器T‑Encoder的输入,进行编码,最后得到关节点与其他关节点的时空关系向量。
7.根据权利要求6所述的基于时空序列图的手势检测方法,其特征在于,将动作向量和时空关系向量输入到聚类模块中,学习各类手势动作特征,使用软分配聚类的方式进行聚类,实现手势的分类识别。
8.一种基于时空序列图的手势检测系统,其特征在于,包括:构建模块,用于构建手部关节点的时空序列图;
提取模块,用于提取每个关节点和与其相邻关节点之间的特征关系;
第一编码模块,用于对特征关系进行位置编码操作,得到位置编码向量;
第二编码模块,用于结合位置编码向量和特征关系,编码得到动作向量;
第三编码模块,用于对动作向量进行时序编码,获得关节点与其他关节点的时空关系向量;
聚类模块,用于将动作向量和时空关系向量进行聚类分析,实现手势的分类识别。
9.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行如权利要求1‑7任一项所述的基于时空序列图的手势检测方法的指令。
10.一种电子设备,包括如权利要求9所述的非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。