欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021104301385
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,包括以下步骤:S1:摄像机参数计算和三维重建:计算摄像机的变换矩阵K和深度值λ,完成对每个摄像机的K和λ的计算后,选择目标对象,对目标对象进行3D面模型重建;

S2:3D场景模型的定义和参数训练:对包含摄像机、行人和行人轨迹的场景进行参数化,设置参数化的基于机器学习的3D场景模型,对3D场景模型进行训练;

S3:目标人物识别和轨迹重建:生成多个场景的模型,对其中的目标对象进行识别,目标对象坐标加入模型,完成轨迹计算。

2.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特T

征在于,在步骤S1,计算变换矩阵K和深度值λ中,图像中的点由向量(xp yp 1)表示,三维空T

间中点由向量(xw yw zw) 表示,其中,包含mx和my的矩阵,将图像平面坐标映射到摄像机图像上,mx和my表示像素缩放因子,s表示倾斜因子,x0和y0表示特征点座标;包含f的矩阵,为摄像机的参数矩阵,f为镜头焦距;包含r和t的矩阵,为摄像机的空间变换矩阵,r为摄像机的旋转参数,t为摄像机的平移参数。

3.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,在步骤S1中设置一种基于长短期记忆(lstm)和卷积神经网络(cnn)的方法计算K和λ。

4.根据权利要求3所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,一种基于长短期记忆(lstm)和卷积神经网络(cnn)的方法,具体包括以下步骤:S101:从任意视频中选取一个固定物体作为辅助对象,获取该对象不同角度的图像,输入神经网络;神经网络由2d卷积神经网络(2d‑cnn)、3d卷积lstm(3d‑lstm)、3d反卷积神经网络(3d‑dcnn)三部分组成;

S102:2d卷积神经网络(2d‑cnn)抽取图像序列的低维特征;

S103:将步骤S102的输出结果输入到3d卷积lstm(3d‑lstm)单元;

S104:3d反卷积神经网络(3d‑dcnn)解码3d卷积lstm(3d‑lstm)单元的隐状态,生成重建的3D模型和估算的K和λ;

S105:重新选择一个目标对象,重复步骤S101‑S104的过程,得到新目标的3D模型和估算的K和λ;

S106:对若干个模型完成的重建和K、λ,交叉验证。

S107:完成对每个摄像机的K和λ的计算后,选择目标对象进行3D面模型重建。

5.根据权利要求4所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,所述的3d卷积lstm(3d‑lstm)单元由四个部分组成:存储器,包括一个存储细胞和一个隐藏层;

输入门,控制数据从输入端到隐状态;

输出门,控制数据从隐状态到输出门;

忘记门,从前次隐状态切换至当前隐状态。

6.根据权利要求4所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,在步骤S106中,交叉验证‑1

oj=λ KiOj

其中,Ki表示第i个目标计算得到的K和λ,Oj表示第j个目标的3D重建模型的顶点集合;

公式中计算出第j个目标的图像oj,与第j个目标的摄像机采集画面进行比较验证,确定Ki和λi的精度。

7.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,3D场景模型公式

其中,H为包含姿势和骨骼信息的人体三维模型,T为标准人体外形三维模型,BS为场景中人物的外形相对与标准人体外形的增量值, 为由人体外形参数构成的向量,ID为场景中人物个体的标识符,P为由骨骼组成的骨架,为骨骼节点的空间变换向量,W为骨骼权重,L为轨迹向量。

8.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法,其特征在于,对3D场景模型进行训练的具体过程,包括以下步骤:S2001:采集训练素材;

S2002:确定训练参数;

S2003:训练姿势相关的参数;

S2004:训练形状相关的参数。