欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202010164725X
申请人: 桂林理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于骨骼点检测与跟踪的手势识别方法,其特征在于,包括:利用骨骼点检测模型进行检测,得到对应检测框;

利用对象跟踪算法统计工厂人员,并生成对应的跟踪器;

再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况;

利用人工智能手势识别算法,判断所述工厂人员是否做出正确手势;

所述利用人工智能手势识别算法,判断所述工厂人员是否做出正确手势,包括:将图像输入到CNN模型中,依次经过4组卷积层进行特征提取后,对所述跟踪框利用ROIAlign得到设定尺寸的区域特征图,再经过2组全连接层得到特征向量;

将所述特征向量依次经过LSTM模型中的舍弃门、添加门和输出门进行训练后,输出设定特征向量,并同时获取分类损失函数、权重损失函数和检测框回归损失函数计算出所述LSTM模型的网络损失;

将所述设定特征向量输入到SoftMax分类器对对应的图像中的手势进行判断,并输出判断结果;

其中,计算所述LSTM模型的网络损失的损失函数的计算公式为:L=Lcls+Lw+Lbox

其中,所述分类损失函数Lcls由最终的预测结果与对应的分类标签进行计算误差;所述权重损失函数Lw和所述检测框回归损失函数Lbox由CNN网络的全连接层后面进行回归预测,然后与对应回归标签进行计算误差,并使用L2正则化Lw对权重进行平滑,由于预测结果与标签的误差(y‑yi)成线性关系,所以Lcls和Lbox都使用了交叉熵函数C。

2.如权利要求1所述的一种基于骨骼点检测与跟踪的手势识别方法,其特征在于,所述利用骨骼点检测模型进行检测,得到对应检测框,包括:利用骨骼点检测模型检测所有工厂人员的骨骼点,并根据所述骨骼点得到对应的检测框。

3.如权利要求2所述的一种基于骨骼点检测与跟踪的手势识别方法,其特征在于,所述利用对象跟踪算法统计工厂人员,并生成对应的跟踪器,包括:对获取的首帧图像建立跟踪器,并计算所述检测框与所述跟踪器内存储的跟踪框的交叠率,并将所述交叠率与设定值进行判断。

4.如权利要求3所述的一种基于骨骼点检测与跟踪的手势识别方法,其特征在于,所述利用对象跟踪算法统计工厂人员,并生成对应的跟踪器,还包括:若所述交叠率大于设定值,则将对应的所述交叠率和所述跟踪框按升值排列,并将其末端所述交叠率对应的所述跟踪框与所述检测框完成匹配,并更新所述跟踪框;

若所述交叠率小于设定值,则新建跟踪器。

5.如权利要求4所述的一种基于骨骼点检测与跟踪的手势识别方法,其特征在于,再次利用所述对象跟踪算法统计所述工厂人员的被跟踪情况,包括:利用所述对象跟踪算法对下一帧所述图像中的所述工厂人员是否被跟丢进行判断,若没有跟丢,则对统计数加1,若跟丢,则所述统计数为‑1,并将所述统计数大于设定阈值的对应的所述图像利用人工智能手势识别算法进行手势判断。