欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020108453787
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,包括以下步骤:步骤1、安装相机与激光雷达,并进行两两双目相机之间的标定,以及车前左相机与激光雷达之间的联合标定,并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充,构成全局的三维点云图;

步骤2、用深度学习的方法对二维图像以及三维点云进行检测,并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合,获取综合的目标三维特征点;

步骤3、根据目标三维特征点,利用卡尔曼滤波对目标进行跟踪,分析其运动状态;

所述步骤1具体包括以下步骤:

步骤2‑1.采用相同的速率和统一坐标系的方法,实现相机与激光雷达这两种传感器时间与空间的信息同步;

步骤2‑2.根据传感器的安装位置,实现双目之间的标定以及相机与激光雷达之间的联合标定,并获取内参fu、fv、uo、vo以及外参R、T,其中fu、fv分别表示相机横、纵焦距,uo、vo表示光学中心,由标定得到;

步骤2‑3.根据双目标定获得的内参fu、fv、uo、vo以及外参R、T,对获取的图像进行畸变矫正;

步骤2‑4.用特征点提取算法分别对双目相机拍摄的t时刻、t‑1时刻左右图像进行特征点提取;

步骤2‑5.利用汉明距离原理对图像特征点进行匹配,完成在t时刻左图像与右图像特征点匹配,右图像在t时刻和t‑1时刻匹配,t‑1时刻右图像与左图像特征点匹配,左图像在t‑1时刻和t时刻匹配,构成环形匹配;

步骤2‑6.根据步骤2‑5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标,根据左相机与激光雷达的外参系数,以及双目相机之间的外参系数,将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起,对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充,从而构成全局的三维点云;

步骤2‑7.利用光束法平差方法对融合后的每一个三维点云进行优化,消除噪声;

步骤2‑8.重复上述步骤2‑2至步骤2‑7,完成车左、车右、车后的点云融合,即可以表示为:其中, 表示激光雷达获取的点云三维坐标, 表示通过

立体视觉系统获取的点云三维坐标,(xt,yt,zt)将两融合后得到最终的点云三维坐标。

2.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤2‑1实现相机与激光雷达这两种传感器的信息同步,具体包括:在时间上,激光雷达与相机设置相同的采集速率;在空间上,相机和激光雷达都安装在车顶,激光雷达位于中间,相机分别位于车前、车左、车右、车后,其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头,对于车前方2个摄像头与激光雷达的位置关系,左右摄像头的相机坐标系分别表示为OL‑XLYLZL,OR‑XRYRZR,空间中的点在两个摄像头图像平面上的像素坐标表示为PL(ul,vl),PR(ur,vr)激光雷达坐标系为OVLP‑XVLPYVLPZVLP,空间中任意点在激光坐标系下表示为(xvlp,yvlp,zvlp)。

3.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤2‑2标定双目相机,在双目相机前方放置一张棋盘格标定板,且必须要求双目相机有共同视野;同时双目相机捕获棋盘格标定板的图像,利用张正友标定法计算各自相机的内参以及双目相机之间的外参,标定左相机与激光雷达,在左相机与激光雷达前放置一张棋盘格标定板,利用ROS录制左相机、激光雷达、棋盘格数据包,使用Autoware工具箱求出左相机与激光雷达的外参。

4.根据权利要求3所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤2‑2具体包括:对于相机标定而言,根据小孔成像原理去建立相机的透视模型,获取相关参数,其中模型参数包括相机内部参数、外部参数,从中得到世界坐标与图像坐标的转换关系为:其中, 分别表示相机的内参,fu、fv分别表示相机横、纵焦距,uo、vo表示光学中心,R、T分别表示双目相机的旋转矩阵和平移矩阵,以上通过标定方法得到,Zc表示在相机坐标系下的Z轴坐标,(xw,yw,zw)表示在世界坐标系下的空间坐标;

对于相机与激光雷达的联合标定而言,它主要是在激光雷达坐标系与相机坐标系之间建立一个齐次变换矩阵,使激光雷达数据与相机图像相对应,转换关系为:M=RintrinsicL·[RextrinsicL textrinsicL]    (4)其中,RintrinsicL表示左相机的内参,Zcl表示相机坐标系下的Z轴坐标,RextrinsicL,textrinsicL表示激光雷达与左相机之间的外参,(xvlp,yvlp,zvlp)表示三维点,其映射到二维图像对应点为(ul,vl),M表示激光雷达坐标系与相机坐标系之间的齐次变换矩阵。

5.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤2用深度学习的方法对二维图像以及三维点云进行检测,并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合,获取综合的目标三维特征点,步骤为:步骤6‑1.分别采集图像、点云数据,并对车辆、行人在内的目标进行标注,构成图像数据集和点云数据集,用各自的网络模型进行训练;

步骤6‑2.在智能车行驶过程中相机与激光雷达实时采集数据,并用深度学习的方法分别对立体视觉系统获取的图像以及激光雷达获取的点云进行检测,获取目标感兴趣区域,采用YOLOv3网络对二维图像进行检测,同时为了保证实时性效果,采用TensorRT加速引擎进行加速,采用Pointnet++对三维点云进行检测;

步骤6‑3.将图像目标与三维点云目标融合在一起,获取目标特征点信息。

6.根据权利要求5所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤6‑3将图像目标与三维点云目标融合在一起,获取目标特征点信息,具体包括:根据图像目标与三维点云目标的融合,剔除了不属于目标框内的特征点,同时由于检测框会包含背景特征点,利用聚类的方法剔除背景特征点,保留场景中车辆、行人目标的三维特征点。

7.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法,其特征在于,所述步骤3根据目标三维特征点,利用卡尔曼滤波对目标进行跟踪,分析其运动状态,步骤为:步骤8‑1.根据目标的三维特征点,将其特征点坐标的平均值作为目标的中心,并代表目标当前时刻所在的三维空间位置;

步骤8‑2.以左相机光心为原点,建立车辆坐标系,其中相机光轴为X轴,垂直车辆向上为Z轴,垂直XOZ平面向左为Y轴;

步骤8‑3.将目标的运动状态在短时间内视为匀速运动模型,利用卡尔曼滤波对目标进行跟踪;由于传感器不能够直接提供目标的速度信息,根据其提供的三维位置以及类别,设置状态变量为 其中(xk,yk,zk)表示第i个目标k时刻的位置,(vxk,vyk,vzk)表示分解到各个轴的速度,class表示类别;

间接求出目标在各个轴的速度:

k k‑1

上式中,t、t 分别表示在k时刻、k‑1时刻的时间戳;

步骤8‑4.重复以上所有步骤,完成车左、车右、车后的目标检测以及目标状态估计。