欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022100922102
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种驾驶路径规划方法,其特征在于,包括如下步骤:步骤1,在车辆行车记录仪位置和后挡风玻璃中间位置各设置一单目相机,利用单目相机采集车辆前方和后方道路视频流数据,对前方和后方道路视频流数据进行抽帧处理;

步骤2,构建改进的深度残差网络,利用改进的深度残差网络对步骤1抽出的帧图像进行深度估计运算,得到深度图;具体过程如下:步骤2.1,使用拉普拉斯金字塔结构构建改进的深度残差网络,在解码器中使用拉普拉斯金字塔结构,利用金字塔的分解定义深度残差,步骤1抽出的帧图像作为改进的深度残差网络的输入,对输入的图像分5个层级操作,每个层级缩小为上一层级的1/2,第1层级为步骤1抽出的帧图像;对于每个层级n,利用该层级图像减去下一层级上采样后的图像得到该层级初步差异轮廓特征Ln,n=1,…,4;对于第5层级即1/16大小的帧图片,其中一部分经过池化层后分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给ASPP卷积结果,得到模糊深度轮廓信息R5,将另一部分的上采样卷积结果、R5上采样结果以及L4进行残差链接,得到第五残差链接结果;将第五残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给ASPP卷积结果,再与L4叠加验证得到R4,将另一部分的上采样卷积结果、R4上采样结果以及L3进行残差链接,得到第四残差链接结果;将第四残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给ASPP卷积结果,再与L3叠加验证得到R3,将另一部分的上采样卷积结果、R3上采样结果以及L2进行残差链接,得到第三残差链接结果;将第三残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给ASPP卷积结果,再与L2叠加验证得到R2,将另一部分的上采样卷积结果、R2上采样结果以及L1进行残差链接,得到第二残差链接结果;将第二残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给ASPP卷积结果,再与L1叠加验证得到R1;具体公式如下:Tn+1(x,y)=Pn+1(x,y)*U(x,y)Rn+1(x+u,y+v)=(1‑u)*(1‑v)*Rn+1(x,y)+(1‑u)*v*Rn+1(x,y+1)+u*(1‑v)*Rn+1(x+1,y)+u*v*Rn+1(x+1,y+1)

其中,Tn+1(x,y)为第n+1层级语义分割得到的分割线,Pn+1(x,y)为第n+1层级得到的初步差异轮廓特征,U(x,y)为语义分割中的卷积运算,Rn+1(x,y)为第n+1层级得到的最优卷积结果,Yn+1(x,y)为第n+1层级ASPP卷积得到的轮廓线,Rn+1(x+u,y+v)为第n+1层级双线性内插法上采样结果,u、v为上采样的插值,(x,y)为像素点, 表示叠加验证;

将R5上采样卷积结果与R4进行叠加验证得到第4层级深度信息 将 上采样卷积结果与R3进行叠加验证得到第3层级深度信息 将 上采样卷积结果与R2进行叠加验证得到第2层级深度信息 将 上采样卷积结果与R1进行叠加验证得到第1层级深度信息 即深度图;

步骤2.2,所述ASPP卷积的每个卷积层后均设有池化层,所有池化层均为Attention based池化层;所述深度残差网络的激活函数选择Softplus激活函数;

步骤2.3,计算单目相机与实际距离的转换关系,从而得到深度图,计算公式如下:其中,(xc,yc,zc)为深度估计得到的深度图内像素点Pc坐标,(x,y,z)为世界坐标系中坐标,k、l均为相机内参,f为相机外参,cx为像素坐标系坐标x的偏置,cy为像素坐标系坐标y的偏置;

步骤3,利用改进的深度残差网络将同一抽帧时刻对应的前方和后方道路的深度图进行迭代匹配整合,形成以车辆自身为中心的3D云图;

步骤4,基于改进的深度残差网络,在深度估计运算过程中同时进行场景语义分割,分割出道路中的其他车辆、障碍物、行人、标识和道路线;

步骤5,根据3D云图,计算前方道路帧图片所拍摄到的其他车辆、障碍物、标识和道路线分别与车辆之间的距离,同时计算后方道路帧图片所拍摄到的其他车辆、障碍物、标识和道路线分别与车辆之间的距离;

步骤6,对于所抽出的帧图像,利用Deep‑SORT多目标跟踪算法跟踪帧图像中的其他车辆,计算各车道中离自身车辆最近的那辆车与自身车辆的最小距离,利用自身车辆正前方与正后方的车辆估算自身车辆的行驶速度;具体过程如下:

6.1,对于所抽出的帧图像,利用Deep‑SORT多目标跟踪算法跟踪帧图像中的其他车辆,计算各车道中离自身车辆最近的那辆车与自身车辆的最小距离,最小距离公式:其中,Dqm为前方某车道中离自身车辆最近的那辆车与自身车辆的最小距离,Dhm为后方某车道中离自身车辆最近的那辆车与自身车辆的最小距离,(XCahead,ZCahead)为前方某车道中离自身车辆最近的那辆车在以前方单目相机为圆心的坐标系下的坐标,(XoCa,ZoCa)为自身车辆在以前方单目相机为圆心的坐标系下的坐标,(XCrear,ZCrear)为后方某车道中离自身车辆最近的那辆车在以后方单目相机为圆心的坐标系下的坐标,(XoCr,ZoCr)为自身车辆在以后方单目相机为圆心的坐标系下的坐标;

6.2,对于前一帧图像与当前帧图像,根据最小距离计算自身车辆正前方的车辆与正后方的车辆在两帧图像间隔时间内的速度:其中,υh为正后方的车辆在间隔时间tn内的速度,υq为正前方的车辆在间隔时间tn内的速度,υ0为车辆的初始速度,Dhm1、Dhm2分别为前一帧图像、当前图像中正后方车辆与自身车辆的最小距离,Dqm1、Dqm2分别为前一帧图像、当前图像中正前方车辆与自身车辆的最小距离;

6.3,估算当前帧中,自身车辆到达正前方车辆所在位置所需的行驶时间t:

6.4,计算自身车辆到达正前方车辆所在位置所需的速度υ:υ=st/t

其中,st为自身车辆行驶的距离,即当前帧中正前方车辆与自身车辆的距离;

步骤7,根据道路线判断车辆行驶角度,根据标识和路面信息判断是否有突发状况发生,及时调整行车路线,让车辆按照规划行驶;

步骤8,根据上述步骤对自身车辆从当前帧所在位置行驶至其正前方车辆所在位置进行路径规划和车辆控制。

2.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤1中,前方和后方道路视频流数据抽帧的间隔时间tn相同,为步骤2深度估计运算时间与步骤3迭代匹配整合时间之和。

3.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤3的具体过程如下:对于同一抽帧时刻对应的前方和后方道路的帧图片,在深度估计得到深度图的过程中,将前方道路帧图片得到的 与后方道路帧图片得到的 进行拼接, 即为R5,将前方道路帧图片得到的 与后方道路帧图片得到的 进行拼接,将前方道路帧图片得到的 与后方道路帧图片得到的 进行拼接,将前方道路帧图片得到的与后方道路帧图片得到的 进行拼接,将前方道路帧图片得到的 与后方道路帧图片得到的 进行拼接,最后再将所有的拼接结果进行整合,从而形成以车辆自身为中心的3D重建的道路信息汇总3D云图。

4.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤4的具体过程如下:在深度估计运算过程中同时进行场景语义分割,将第五残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓*

线进行对比,选择更贴近物体实体轮廓的线赋值给语义分割结果,再与L4叠加验证得到R

4;将第四残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给*

语义分割结果,再与L3叠加验证得到R 3;将第三残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对*

比,选择更贴近物体实体轮廓的线赋值给语义分割结果,再与L2叠加验证得到R 2;将第二残差链接结果分为两部分,其中一部分分别进行语义分割与ASPP卷积,将语义分割得到的分割线与ASPP卷积得到的轮廓线进行对比,选择更贴近物体实体轮廓的线赋值给语义分割*

结果,再与L1叠加验证得到R1,从而得到最终的道路分割信息。

5.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤5中的距离公式如下:

其中,(x,y,z)为世界坐标系中像素点P的坐标信息,k、l均为相机内参,f为相机外参,cx为像素坐标系坐标x的偏置,(xc,yc,zc)为深度估计得到的深度图内像素点Pc坐标。

6.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤7的具体过程如下:

7.1,追踪道路线并结合GPS或北斗导航判断车辆是否是行驶倾斜于前方道路行驶的方向,即计算车辆偏离道路线的角度θ:

其中,dm为前一帧图像中自身车辆与行驶方向右侧道路线的距离,dc为当前帧图像中自身车辆与行驶方向右侧道路线的距离,st为自身车辆行驶的距离;

将自身车辆左边所有道路线中离自身车辆最近的那一条与自身车辆右边所有道路线中离自身车辆最近的那一条之间的距离作为自身车辆能行驶的道路宽度;

7.2,根据所得的道路宽度和偏离角度及时调整车辆,具体如下:若偏离角度θ为10°以内时缓慢回正直至偏离角度恢复到0,超过10°或者将要偏离出道路宽度或者压线后会提示车辆减速回正直至偏离角度恢复到0或观测左右车道的状况进入变道操作调整车辆位姿;

7.3,判断道路中和道路边缘是否有标识和行人,根据情况选择避让或行驶方式,具体如下:若识别出道路中有行人在道路上或在路边准备过道路,则减速停车避让行人;若检测到有标识,则根据标识所表示的意思进行相应操作;若检测到有障碍物,则观测左右车道的状况进行变道或折返。

7.根据权利要求1所述的驾驶路径规划方法,其特征在于,所述步骤8的具体过程如下:根据步骤6计算的自身车辆从当前帧所在位置到达正前方车辆所在位置所需的速度υ,以及道路中其他车辆速度、距离,以及道路中是否有行人、标识和障碍物,合理规划道路路线直至到达正前方车辆所在位置:

a、如若正前方车辆与自身车辆的距离以及正后方车辆与自身车辆的距离均不变,则使自身车辆保持匀速行驶;

b、如若在速度υ不为0的时,正前方车辆距自身车辆的距离在减少,则逐渐减少自身车辆的速度直到停止,并且鸣笛提醒前方车辆;

c、如若速度υ为0且正前方车辆距自身车辆的车距在增大,则缓慢加速直至正前方车辆与自身车辆的距离达到设定的安全车距;

d、如若速度υ为0且正前方车辆距自身车辆距离在不断减少且小于安全车距,正后方车辆距自身车辆距离超过设定的安全车距,则使自身车辆向后方缓慢行驶即倒车直至正后方车辆与自身车辆的距离达到设定的安全车距时停下,并且鸣笛提醒前方车辆;

e、如若速度υ为0且正前方车辆距自身车辆距离在不断减少且小于设定的安全车距,正后方车辆距自身车辆距离小于设定的安全车距,则开始寻找其他有足够车距的车道并且进行道路规划。