欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018105946925
申请人: 长安大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于3D激光雷达及图像数据的目标检测方法,包括以下步骤:步骤1,利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像,并对所述的3D点云数据进行预处理;

步骤2,滤除3D点云数据中的地面点,对剩余非地面点进行空间聚类,提取目标的3D感兴趣区域;

步骤3,对3D激光雷达和相机的坐标的外参数进行标定,并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中,提取相机图像中对应的2D感兴趣区域;

步骤4,利用深度卷积网络对所述的2D感兴趣区域进行特征提取,从而对2D感兴趣区域中的目标进行定位和识别;

所述的步骤1中对所述的3D点云数据进行预处理,包括:

步骤1.1,将雷达获取的点云数据转换到直角坐标系下

将点云数据的点集Pr转换到直角坐标系下,计算点集中每个扫描点在直角坐标系下的坐标,得到每个扫描点pi的多参数表示形式:pi=(γi,θi,φi,Ii,xi,yi,zi)

其中γi表示扫描点到雷达的径向距离,θi,φi表示扫描点相对于球面坐标系的水平和垂直角度,Ii表示雷达反射强度,xi,yi,zi为扫描点pi在直角坐标系下的坐标;

所述的直角坐标系是以雷达的几何中心位置为坐标原点,以雷达的垂直轴线方向为Z轴,以车辆前行方向为Y轴,而X轴由Z轴和Y轴遵循右手定则确定;转换过程如下:步骤1.2,根据所述的直角坐标进行区域滤波,设定感兴趣区域边界,保留感兴趣区域中的扫描点,即:Pf={pi|-X

所述的3D点云数据进行预处理,还包括:

步骤1.3,噪声点的滤除

对于点集Pf中的每一个扫描点pi,搜索在扫描点pi半径R内的近邻点,如果pi的近邻点数量少于M个,则将点pi标注为噪声点并从点集Pf中移除;遍历点集Pf,找到所有的噪声点并从点集Pf中移除,得到预处理后的点集P;

所述的步骤2所述的滤除3D点云数据中的地面点,包括:

步骤2.1,将点集P映射到多维矩阵中,矩阵的行号等于雷达扫描线的条数,矩阵的列数等于一条扫描线包含的点数;点集P中的扫描点pi的映射到矩阵中所在的行r和列c计算方式如下:r=(θi+180)/Δθ   (3)

c=φi/Δφ    (4)

上式中,Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率,θi、φi分别表示扫描点所在扫描线的水平角度和垂直角度;

步骤2.2,用br,c表示矩阵中的第r行c列元素,计算br,c中的点pi的深度值pdepthi,计算方式如下:上式中,xi,yi分别为br,c对应的扫描点pi在所述直角坐标系中相对于X轴、Y轴的坐标;

步骤2.3,计算矩阵元素br,c对应扫描点是地面点的概率P(br,c),如果概率超过阈值,则将br,c对应扫描点标记为地面点;

步骤2.4,遍历矩阵中每个元素,按照步骤2.3的方法标记出矩阵中所有的地面点并将地面点从点集P中移除,剩下的非地面点记为点集Po。

2.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法,其特征在于,步骤

2.3中所述的地面点概率P(br,c)的计算步骤为:

步骤2.3.1,计算矩阵同一列的相邻元素br-1,c和br,c中的点之间的深度测量差值Md(br-1,c,br,c),计算方法如下:Md(br-1,c,br,c)=|pdepthr,c-pdepthr-1,c|    (6)步骤2.3.2,根据雷达点云数据在平面上的分布情况估计出矩阵同一列的相邻元素br-1,c和br,c中的点之间的深度差值Ed(br-1,c,br,c),具体计算方法如下:其中,h表示雷达的安装高度,Δφ表示雷达垂直角度分辨率,φr-1和φr分别表示雷达第r-1和第r条扫描线的垂直角度,γr-1表示元素br-1,c对应的扫描点距雷达中心的径向距离值;

步骤2.3.3,则元素br,c对应扫描点pi是地面点的概率P(br,c)为:其中当概率P(br,c)大于阈值0.8时,则元素br,c对应扫描点pi标记为地面点。

3.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法,其特征在于,步骤

2所述的对剩余非地面点进行空间聚类,提取目标的3D感兴趣区域,包括:步骤2.5.1,建立第一个聚类C1,将非地面点集Po中的第一个扫描点p1划分到第一个聚类C1中;

步骤2.5.2,对于点集Po中其它点pi∈Po,(i≠1),计算离它最近的聚类Cj中的扫描点与它的欧拉距离最小值,如果最小值小于阈值d,则将点pi划分到聚类Cj(j≤n)中,其中n表示当前聚类数;否则重新创建第n+1个聚类Cn+1,并将pi划分到Cn+1中,直到点集Po中所有的扫描点都被划分到聚类中;

步骤2.5.3,用Γ表示聚类集合,对于聚类集合Γ中的每一个聚类Cj,利用聚类Cj所包含的扫描点的空间分布,计算该聚类的最小3D轴对齐矩形边界框,如果边界框的尺寸大于阈值尺寸,则将该聚类标记伪目标区域,否则标记为候选目标区域;

步骤2.5.4,保留所有标记为目标候选区域的边界框作为提取的目标3D感兴趣区域。

4.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法,其特征在于,步骤

3所述的对3D激光雷达和相机的坐标的外参数进行标定,并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中,提取相机图像中对应的2D感兴趣区域,包括:以棋盘格标定板为目标,在标定板上标记特征点,同时获取雷达的点云数据和相机的图像数据,然后根据标定板上的特征点在雷达和相机中的坐标对应关系计算出标定参数,即雷达坐标系和相机坐标系之间的旋转矩阵和平移向量;

最后根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中,提取相机图像中对应的2D轴对齐矩形边界框作为2D感兴趣区域。

5.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法,其特征在于,步骤

4所述的利用深度卷积网络对所述的2D感兴趣区域进行特征提取,从而对2D感兴趣区域中的目标进行定位和识别,包括:所述的深度卷积网络采用VGG16,分别将模型中‘conv3’,’conv4’和‘conv5’这三层卷积层最后输出的特征图首先进行归一化,然后进行结合,使得最终的目标特征具有不同尺度;对结合后的特征进行1×1的卷积操作,得到最后的特征向量输出给该卷积网络最后的两层全连接层以对2D感兴趣区域中的目标进行定位和识别。

6.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法,其特征在于,所述的方法还包括:步骤5,使用非极大值抑制算法对步骤4的结果进行优化。