欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018113230048
申请人: 天津理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:它包括,S1、读取图片信息后,一张X*Y大小的图片会缩放至H*W,经Feature extraction network模块的ResNet‑101特征提取网络提取图片的Feature maps;

S2、步骤S1中输出的Feature maps进入Region proposal network模块,Region proposal network模块运用3*3大小的滑动窗遍历Feature maps,每个像素预测出54个anchor boxes,通过Softmax层判断anchors属于前景或者背景,再利用边框回归修正anchors获得精确的Proposals;

S3、Classification&Boundingbox regression模块收集步骤S1中得到的Feature maps和步骤S2中得到的Proposals,通过Read‑only ROI挖掘困难样本,使用ROI‑2更新模型参数,最后得到目标物体分类结果和边框回归的偏移量;

S4、建立训练数据集:为完善算法在雨雪、雾霾天气中的目标检测效果,结合自动驾驶数据集KITTI和Oxford RobotCar组成混合自动驾驶训练集;为减少假阳性率,数据集标签整合为‘car’类和‘pedestrian’类,并将数据集制作成PASCALVOC2007数据集的格式;

S5、训练网络模型:使用GPU_0、GPU_1联合并行训练;使用迁移学习的方式,Feature extraction network模块中的ResNet‑101在ImageNet训练后得到的网络模型做为预训练模型,混合自动驾驶数据集做fine‑tuning;训练方式为四步交替优化法。

2.如权利要求1所述的一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:所述步骤S1中X*Y大小的图片在进入网络模型前缩放至H*W,Feature extraction network模块中的特征提取网络为100层的全卷积网络ResNet‑101,包括Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x;经Resnet‑101特征提取网络的Conv1、Conv2_x、Conv3_x、Conv4_x后,Conv4_x输出的Feature maps分别送入Region proposal network模块和Classification&Boundingbox regression模块提取Regionproposals、挖掘困难样本;其中在Classification&Boundingbox regression模块的ROI Pooling层后再加入Conv5_x的九层网络增强图像特征,提升后续物体分类效果。

3.如权利要求2所述的一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:所述步骤S2中,Region proposal network模块使用3*3大小的滑动窗遍历Conv4_x输出的Feature maps的每个像素点,位于滑动窗中心的锚点预测6种尺度、9种比例的54个anchor boxes;anchor boxes经Softmax层提取包含目标物体的Proposals,并使用边框回归法修正Proposals的坐标;最后使用Soft‑NMS方法去掉重叠度高的包围框得到精确的Proposals。

4.如权利要求1所述的一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:所述步骤S3中,将Proposals送入Classification&Boundingbox regression模块,该模块包括只读的Read‑only ROI网络和具有前‑后向传播功能的ROI‑2网络,两个网络间共享权重;Proposals在Read‑only ROI网络中计算分类损失和边框回归损失;然后将损失按降序排列,选择具有高损失性的Hard region proposal;最后将Hard region proposal输入ROI‑2网络中计算困难样本的损失回传给卷积神经网络来更新整个网络参数,最终得到目标物体类别和位置的精准结果。

5.如权利要求1所述的一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:所述步骤S4中,训练数据集选用KITTI数据集中的7481个训练图像,包含市区、乡村和高速公路采集的真实图像数据;此外,为了提高训练模型在雨雪、雾霾天气中的目标检测精度,加入OxfordRobotCar数据集中的1867个训练图片,天气状况包括‘snow’、‘rain’和‘clouds’;为了便于网络模型进行训练,数据集标签整合为‘car’类和‘pedestrian’类,并将数据集制作成PASCALVOC2007数据集的格式。

6.如权利要求1所述的一种基于改进Faster R‑CNN的道路环境视觉感知方法,其特征在于:所述步骤S5中,根据训练图片数目和对训练参数数量的预估,在训练中使用GPU_0和GPU_1;训练时,两块GPU基于同一网络模型;在每一次迭代中,输入每块GPU的数据样本为batchsize/2,GPU根据自己分到的训练数据样本计算模型的参数,包括损失和梯度;最后,将2个GPU上分别计算得到的梯度回传给CPU求平均值,得到当前的小批量梯度,每个GPU都使用这个小批量梯度分别更新自己的模型参数;使用迁移学习的方式,ResNet‑101在ImageNet训练后得到的网络模型做为预训练模型,混合自动驾驶数据集做fine‑tuning;训练方式为四步交替优化法。