欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018104483269
申请人: 上海美城智能科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多目标三维轨迹跟踪方法,其特征在于,包括如下步骤:对视频图像中的多目标进行轨迹计算,得到视频图像中多目标的二维轨迹;

获取视频图像全图的深度信息,获取摄像头参数;

根据摄像头参数获取视频图像与物理世界的映射比例,根据视频图像的深度信息和与物理世界的映射比例,将多目标的二维相对轨迹还原为三维真实轨迹。

2.根据权利要求1所述的一种多目标三维轨迹跟踪方法,其特征在于,对视频图像中的多目标进行轨迹计算,得到视频图像中多目标的二维轨迹,包括:以帧为单位将视频图像输入物体检测卷积神经网络,输出图像中多个物体的物体框以及框中的物体像素;

以前后两帧为单位将视频图像位输入场景流卷积神经网络,计算出前后帧中各个物体各自的场景流速度和流轮廓、背景的场景流速度;

以流轮廓和物体像素为特征匹配内容,对物体框与二维轨迹进行关联;

关联成功后,更新二维轨迹。

3.根据权利要求2所述的一种多目标三维轨迹跟踪方法,其特征在于,以前后两帧为单位将视频图像位输入场景流卷积神经网络,计算出前后帧中各个物体各自的场景流速度和流轮廓、背景的场景流速度,包括:以前后两帧为单位将视频图像位输入场景流卷积神经网络,获取全图场景流;

借助各个物体的物体框,利用聚类算法,从全图场景流计算出各个物体的流轮廓。

4.根据权利要求3所述的一种多目标三维轨迹跟踪方法,其特征在于:以前后两帧为单位将视频图像位输入场景流卷积神经网络,获取全图场景流的同时,还获取物体场景流速度和背景场景流速度;

根据物体场景流速度与背景场景流速度之间的差值计算出物体的真实场景流速度;

关联成功后,更新二维轨迹时,将物体的真实场景流速度更新至二维轨迹。

5.如权利要求4所述的一种多目标三维轨迹跟踪方法,其特征在于,关联成功后,更新二维轨迹的同时,还包括:根据物体框坐标和真实场景流速度,计算出下一帧的预测坐标。

6.如权利要求5所述的一种多目标三维轨迹跟踪方法,其特征在于,还包括如下步骤:如果物体框与二维轨迹关联失败,则以前一帧的预测坐标更新轨迹,并再次以流轮廓为特征匹配内容,对物体框与二维轨迹进行关联。

7.如权利要求2所述的一种多目标三维轨迹跟踪方法,其特征在于,还包括如下步骤:如果物体框与二维轨迹关联失败,则为关联失败的物体框新建一条轨迹。

8.一种多目标三维轨迹跟踪装置,其特征在于,包括:卷积神经网络计算模块和逻辑运算模块,所述卷积神经网络计算模块包括物体检测卷积神经网络和场景流计算卷积神经网络;

所述物体检测卷积神经网络用于对视频图像的当前帧进行处理,获取图像中多个物体的物体框;

所述场景流计算卷积神经网络用于对视频图像的当前帧和前一帧进行处理,获取全图场景流和视频图像的深度信息;

所述逻辑运算模块用于借助各个物体的物体框,利用聚类算法,从全图场景流计算出各个物体的流轮廓,所述逻辑运算模块以流轮廓为特征匹配内容,对物体框与二维轨迹进行关联,并于关联成功后,更新二维轨迹,所述逻辑运算模块还用于根据摄像头参数获取视频图像与物理世界的映射比例,根据视频图像的深度信息和与物理世界的映射比例,将多目标的二维相对轨迹还原为三维真实轨迹。

9.如权利要求8所述的一种多目标三维轨迹跟踪装置,其特征在于:所述场景流计算卷积神经网络还用于获取物体场景流速度和背景场景流速度;

所述逻辑运算模块根据物体场景流速度与背景场景流速度之间的差值计算出物体的真实场景流速度,并于关联成功后,更新二维轨迹时,将物体的真实场景流速度更新至二维轨迹。

10.如权利要求9所述的一种多目标三维轨迹跟踪装置,其特征在于:所述逻辑运算模块在物体框与二维轨迹关联失败后,以前一帧的预测坐标更新轨迹,并再次以流轮廓为特征匹配内容,对物体框与二维轨迹进行关联。