欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023116631845
申请人: 河北双学教育科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-04-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于计算机视觉的智能化训练考核方法,其特征在于,包括:

获取由摄像头采集的待考核对象的第一训练动作的训练动作状态监控图像;

获取所述第一训练动作的参考动作图像;

提取所述训练动作状态监控图像和所述参考动作图像的动作语义特征以得到训练动作语义特征图和参考动作语义特征图;

构建所述训练动作语义特征图和所述参考动作语义特征图之间的语义对比特征以得到全局语义对比特征向量;以及基于所述全局语义对比特征向量,确定所述待考核对象的第一训练动作是否规范;

其中,构建所述训练动作语义特征图和所述参考动作语义特征图之间的语义对比特征以得到全局语义对比特征向量,包括:对所述训练动作语义特征图和所述参考动作语义特征图进行特征分布优化以得到优化后训练动作语义特征图和优化后参考动作语义特征图;

将所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别通过空间注意力层以得到空间显化训练动作语义特征图和空间显化参考动作语义特征图;以及计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量;

其中,将所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别通过空间注意力层以得到空间显化训练动作语义特征图和空间显化参考动作语义特征图,包括:使用所述空间注意力层的卷积编码部分对所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别进行深度卷积编码以得到优化后训练动作卷积特征图和优化后参考动作卷积特征图;

将所述优化后训练动作卷积特征图和优化后参考动作卷积特征图输入所述空间注意力层的空间注意力部分以得到优化后训练动作空间注意力图和优化后参考动作空间注意力图;

将所述优化后训练动作空间注意力图和优化后参考动作空间注意力图通过Softmax激活函数以得到优化后训练动作空间注意力特征图和优化后参考动作空间注意力特征图;以及计算所述优化后训练动作空间注意力特征图和所述优化后训练动作卷积特征图的按位置点乘以得到所述空间显化训练动作语义特征图;计算所述优化后参考动作空间注意力特征图和所述优化后参考动作卷积特征图的按位置点乘以得到所述空间显化参考动作语义特征图;

其中,计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量,包括:以如下局部特征度量公式来计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量;

其中,所述局部特征度量公式为:

其中,p

2.根据权利要求1所述的基于计算机视觉的智能化训练考核方法,其特征在于,提取所述训练动作状态监控图像和所述参考动作图像的动作语义特征以得到训练动作语义特征图和参考动作语义特征图,包括:将所述训练动作状态监控图像和所述参考动作图像通过包含第一级动作特征提取器和第二动作特征提取器的双重耦合孪生检测模型以得到所述训练动作语义特征图和所述参考动作语义特征图。

3.根据权利要求2所述的基于计算机视觉的智能化训练考核方法,其特征在于,所述第一级动作特征提取器和所述第二动作特征提取器具有相同的网络结构。

4.根据权利要求3所述的基于计算机视觉的智能化训练考核方法,其特征在于,基于所述全局语义对比特征向量,确定所述待考核对象的第一训练动作是否规范,包括:将所述全局语义对比特征向量通过分类器以得到分类结果,所述分类结果用于表示所述待考核对象的第一训练动作是否规范。

5.根据权利要求4所述的基于计算机视觉的智能化训练考核方法,其特征在于,将所述全局语义对比特征向量通过分类器以得到分类结果,所述分类结果用于表示所述待考核对象的第一训练动作是否规范,包括:使用所述分类器的多个全连接层对所述全局语义对比特征向量进行全连接编码以得到编码分类特征向量;以及将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

6.一种基于计算机视觉的智能化训练考核系统,其特征在于,包括:

训练动作状态监控图像获取模块,用于获取由摄像头采集的待考核对象的第一训练动作的训练动作状态监控图像;

参考动作图像获取模块,用于获取所述第一训练动作的参考动作图像;

动作语义特征提取模块,用于提取所述训练动作状态监控图像和所述参考动作图像的动作语义特征以得到训练动作语义特征图和参考动作语义特征图;

语义对比特征构建模块,用于构建所述训练动作语义特征图和所述参考动作语义特征图之间的语义对比特征以得到全局语义对比特征向量;以及待考核对象的第一训练动作判断模块,用于基于所述全局语义对比特征向量,确定所述待考核对象的第一训练动作是否规范;

其中,所述语义对比特征构建模块,包括:

对所述训练动作语义特征图和所述参考动作语义特征图进行特征分布优化以得到优化后训练动作语义特征图和优化后参考动作语义特征图;

将所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别通过空间注意力层以得到空间显化训练动作语义特征图和空间显化参考动作语义特征图;以及计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量;

其中,将所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别通过空间注意力层以得到空间显化训练动作语义特征图和空间显化参考动作语义特征图,包括:使用所述空间注意力层的卷积编码部分对所述优化后训练动作语义特征图和所述优化后参考动作语义特征图分别进行深度卷积编码以得到优化后训练动作卷积特征图和优化后参考动作卷积特征图;

将所述优化后训练动作卷积特征图和优化后参考动作卷积特征图输入所述空间注意力层的空间注意力部分以得到优化后训练动作空间注意力图和优化后参考动作空间注意力图;

将所述优化后训练动作空间注意力图和优化后参考动作空间注意力图通过Softmax激活函数以得到优化后训练动作空间注意力特征图和优化后参考动作空间注意力特征图;以及计算所述优化后训练动作空间注意力特征图和所述优化后训练动作卷积特征图的按位置点乘以得到所述空间显化训练动作语义特征图;计算所述优化后参考动作空间注意力特征图和所述优化后参考动作卷积特征图的按位置点乘以得到所述空间显化参考动作语义特征图;

其中,计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量,包括:以如下局部特征度量公式来计算所述空间显化训练动作语义特征图和所述空间显化参考动作语义特征图之间的沿通道维度的各组对应特征矩阵之间的局部特征度量系数以得到由多个局部特征度量系数组成的全局语义对比特征向量;

其中,所述局部特征度量公式为:

其中,p

7.根据权利要求6所述的基于计算机视觉的智能化训练考核系统,其特征在于,所述动作语义特征提取模块,用于:将所述训练动作状态监控图像和所述参考动作图像通过包含第一级动作特征提取器和第二动作特征提取器的双重耦合孪生检测模型以得到所述训练动作语义特征图和所述参考动作语义特征图。