欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021105395604
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种非接触式骑行运动状态监测方法,其特征在于,包括:获取图像采集设备的位姿信息,并根据该位姿信息固定图像采集设备;实时获取待监测人员的运动状态数据;将待监测人员的运动状态数据输入到运动状态监测模型中,判断当前待监测运动人员的运动情况,根据该情况对运动姿态进行调整;所述运动状态监测模型包括神经网络模型、空间信息恢复模块以及骑行状态分析模型;

获取图像采集设备的位姿信息的过程包括:根据各个图像采集设备的位置信息确定中心图像采集设备位置信息;确定过程包括:计算各个图像采集设备到除该设备外到其他设备的直线距离之和,对所有的距离之和进行比较,选出最小距离之和,将该图像采集设备作为中心图像采集设备;设置获取不同角度图像采集设备采集同一位置的棋盘图像;根据采集的棋盘图像对图像采集设备相对中心位置的位姿信息进行解算,得到图像采集设备的相对位姿信息;对位姿信息进行解算的过程包括:对图像采集设备进行单目标定和双目标定,根据标定结果得到各设备的位姿信息;单目标定包括根据棋盘图像对图像采集设备进行矫正,获取矫正后图像采集设备的内参数,得到内参数矩阵;双目标定的过程包括采用张正有标定方法对棋盘图像进行标定,得到棋盘图像匹配点对;根据棋盘图像匹配点对获取图像采集设备的旋转矩阵和平移矩阵;根据内参数矩阵、旋转矩阵以及平移矩阵得到图像采集设备的相对位姿信息;

运动状态监测模型对运动数据进行处理的过程包括:

S1:将获取的图像数据输入到训练好的神经网络中,得到每一张画面下骑行状态中不同关节点在像素坐标系下的位置信息;所述神经网络模型为openpose网络模型;

S2:将同一时刻下不同角度获取的关节点的信息按照时间顺序进行匹配对应,将对应好的关节点信息输入到空间信息恢复模块中恢复每个关节点的空间信息;恢复每个关节点的空间信息的过程包括:获取配对后的两张图像中的关节点对图像像素坐标;根据设备的位姿信息结合三角化方法对更新后的关节点空间信息进行恢复;设定权值,根据设置的权值对关节点的空间信息进行加权更新;所述两张图像中的关节点对为一个图像采集设备和中心位置上的图像采集设备同一时间获取的图像输入神经网络后输出的关节点,包括所有图像采集设备和中心位置上图像采集设备对应的关节点;设定的权值为:其中,n为图像采集设备个数;

S3:将每个关节点的空间信息按照时间顺序依次输入到骑行状态分析模型中,得到当前骑行状态下的运动情况。

2.根据权利要求1所述的一种非接触式骑行运动状态监测方法,其特征在于,在采集数据过程中采用至少3个图像采集设备,且将图像采集设备按照求解的位姿信息进行固定。

3.根据权利要求1所述的一种非接触式骑行运动状态监测方法,其特征在于,openpose网络模型包括主干网络VGG‑19和至少一个stage模块;stage模块包括PCM模块、PAF模块、两个卷积层以及一个全连接层;第一卷积层与PCM模块连接,第二卷积层与PAF模块连接,且PCM模块和PAF模块并联;对openpose网络模型进行训练的过程包括:步骤1:获取原始图像数据,并对原始图像数据进行预处理;

步骤2:将预处理后的图像输入到主干网络VGG‑19中提取图片的特征;

步骤3:对提取的特征进行卷积,将卷积的结果输入到PCM模块中,得到关键点热力图;

步骤4:对提取的特征进行卷积,将卷积的结果输入到PAF模块中,得到关键点亲和力场图;

步骤5:将特征图、关键点热力图和关键点亲和力场图输入到全连接层中,得到骑行图中人体关节点的像素坐标;

步骤6:计算openpose网络模型的损失函数,不断调整损失函数的参数,当损失函数最小时,完成模型的训练。

4.根据权利要求3所述的一种非接触式骑行运动状态监测方法,其特征在于,openpose网络模型中PAF模块和PCM模块损失函数的表达式 分别为:其中,c表示第c个置信映射,C表示置信映射的总个数,W(p)表示权值,p表示当前处理为第p组数据, 为PAF中训练得到的标注,ti表示PAF模块中的第i层,J表示第j个置信映射, 为PAF模块中预先标注数据, 表示PCM模块中训练得到的标注,tk表示PCM模块中第k层, 为PCM中预先标注数据;整体的损失函数为:其中,Tp表示PAF模块的总层数,Tc表示PCM模块的总层数, 表示PAF模块的损失函数,表示PCM模块中的损失函数。

5.根据权利要求1所述的一种非接触式骑行运动状态监测方法,其特征在于,骑行状态分析模型为支持向量机模型;将采集到的关节点的空间信息和对应的时间信息输入到训练好的支持向量机模型中,提取骑行运动特征,根据提取的骑行运动特征对骑行状态进行分析,判断当前的骑行状态是否正确,若骑行状态不正确则发出警报,若骑行状态正确,则无影响。

6.一种非接触式骑行运动状态监测系统,该系统用于执行权利要求1~5所述的任意一种非接触式骑行运动状态监测方法,其特征在于,该系统包括:骑行场景监控模块、骑行状态下时空参数获取模块以及骑行状态分析模块;

所述骑行场景监控模块包括多个数据采集模块,各个数据采集模块之间需同时运行,并完成标定,获得不同数据采集模块相对于中心位置的位姿信息,得到同一时刻的不同角度下人们骑行姿态的二维画面;

所述骑行状态下时空参数获取模块包括姿态分析的神经网络模块和空间信息恢复模块;

所述姿态分析的神经网络模块用于获取采集人体运动图像的关节点的图像像素坐标;

所述空间信息恢复模块用于获取关节点的空间信息;

所述骑行状态分析模块用于对获取的骑行状态下人体的时间以及空间信息分别进行分析,结合骑行状态下肢体的夹角、运动速度信息,对骑行状态进行监测。