欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202110740805X
申请人: 广西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:所述障碍物检测方法包括以下步骤:S01:通过安装在列车前端的摄像机,拍摄获取列车前方轨道的视频信息,将视频中含有障碍物的关键部分截出,并筛选截出关键部分图片作为样本图像,用于建立铁路轨道危险区域障碍物检测的数据集;

S02:将获取的样本图像进行数据增强处理,对障碍物图像进行标注,将生成的障碍物图像数据信息按照PASCAL VOC格式储存为数据集,并将得到的数据集划分为训练集和测试集;

S03:构建铁路轨道危险区域障碍物检测模型,该障碍物检测模型基于Mask R‑CNN和Resnet101组合进行构建的特征提取网络模型,该特征提取网络模型是一个两阶段网络,第一阶段是区域建议网络,提取出候选对象包围盒,第二阶段,在预测类标签和限定框的偏移量的同时,Mask R‑CNN为每个感兴趣区域输出一个二进制掩模,根据该二进制掩模预测进行分类;

S04:训练障碍物检测模型,基于Mask R‑CNN和Resnet101的特征提取网络模型制作好的训练集采用卷积神经网络进行训练,训练完成后,将待检测的障碍物图像输入训练好的检测模型进行测试,输出图片的识别结果,完成轨道危险区域障碍物的检测和识别;

所述Mask R‑CNN由卷积块和标识块组成,训练障碍物检测模型时先将输入的样本图片经过填零的操作,接着进行了一次卷积核为7×7、步长为2的卷积,然后经过最大池化层后的特征层进行交替,再通过若干个标识块和卷积块,从而得到长宽压缩了两次、三次、四次、五次的特征层C2、C3、C4和C5,最后用得到的特征层构建特征金字塔网络,经过卷积和上采样并融合特征层,提取到有效特征层P2、P3、P4、P5、P6,所述ResNet101特征提取网的表达公式为:xl=Hl([x0,x1,x2,...,xl‑1]);

其中,Hl代表由卷积层、Relu层和池化层组成的复合函数,[x0,x1,x2,...,xl‑1]代表拼接来自前面不同层的轨道障碍物特征图;

其中,对轨道危险区域障碍物进行检测和识别过程具体包括以下子步骤:

S0401:调整输入的障碍物特征图像的大小为800×600;然后将图像分割成若干个网格;如果障碍物特征图像的目标的中心位于网格单元中;

S0402:将输入的障碍物特征图像的大小调整为800×600,然后将图像分割成若干个网格,如果障碍物特征图像的目标的中心位于网格单元中,则在网格单元中执行检测识别过程;

S0403:对每个网格单元分别预测B个先验框、先验框的置信度得分和目标类别的信息概率C,所述置信度得分满足:Pr(Object)表示网格单元中有无包含障碍物,有则为1,否则为0; 表示真实的位置框和Mask R‑CNN的先验框之间的交并比;

S0404:对S0401中获得的预测包围框坐标(x,y,w,h)使用归一化处理;

S0405:通过对障碍物特征图像中满足置信度阈值的区域采用非极大值抑制算法处理;

S0406:通过非极大值抑制算法的处理结果,保留拥有最高前景分数的先验框,获取最终的区域建议框所对应的坐标范围和类别信息;

S05:检测障碍物是否在轨道危险区域内,将危险区域与障碍物着色,以显示危险区域与障碍物的具体位置,并判断危险区域与障碍物是否重叠;来检测危险区域内是否有障碍物;由于Mask R‑CNN增加的掩模分支,在检测时直接将危险区域与障碍物着色以显示它们的具体位置,通过判断它们是否重叠来检测危险区域内是否有障碍物。

2.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:在所述步骤S02中,对障碍物图像进行标注包括如下步骤:S0201:使用标注工具Labelme对障碍物图像进行多边形标注,标注出障碍物和轨道的危险区域;

S0202:将标注的每一类障碍物以及轨道通过Python代码进行编号,以进行数据集的规范化;

S0203:将标注后生成的含有障碍物图像坐标信息的json文件使用Python代码转化为COCO数据集,按照代码中输入的比例划分训练集与测试集;

S0204:将获得的数据集放在要训练的网络的data文件夹下,用于下一步网络的训练。

3.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:在所述S05中,检测障碍物是否在轨道危险区域内具体包括如下步骤:S0501:由于在标注时采用多边形标注,并在训练时采用ROI Align,在获取特征层时不在进行取整操作,采用双线性插值法提取障碍物图像的特征图,对比特征图上的像素与原图上的像素是否完全对齐,以便获取障碍物的具体位置;

S0502:将二进制掩模预测得到的结果传入掩模预测分支中,得到目标物体的掩模,用掩模对图像上的区域进行屏蔽,并对屏蔽区域进行处理,以此来将障碍物和轨道危险区域进行着色;

S0503:检测图片上着色区域判断障碍物和轨道危险区是否重叠,以此来判断危险区域内是否有障碍物。

4.根据权利要求3所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:区别与以往的网络训练时所用的数据集都是只标注出障碍物,然后在检测时再提取轨道,获取危险区域,从而判断障碍物是否在危险区域内,本发明对危险区域障碍物检测的技术框架进行了改进,采用的方法是在制作数据集时,使用多边形标注法,不仅标注出障碍物,也要标注出轨道的危险区域,由于Mask R‑CNN增加的掩模分支,我们可以在检测时直接将危险区域涂色,这样就可以省略提取轨道的步骤,直接检测预处理后的图片,从而缩短检测步骤与时间。

5.根据权利要求3所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:所述Mask R‑CNN特征提取网络对障碍物特征图的每个像素点产生至少3个不同大小的先验框,各个框的大小由scale和ratio这两个参数来确定,先将三个先验框保持框的面积不变,再通过ratio的值来改变先验框的长宽比,从而产生不同大小的框,每层的scale分别为(64,128,256),ratio为(0.5,1,2),所有每一层的每一个像素点都会产生3个锚框,总计会有9种不同大小的锚框。

6.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:将获取的样本图像进行数据增强处理包括对样本图像进行任意旋转、添加噪声和随机旋转处理,以扩充轨道障碍物样本图像的数据集。

7.根据权利要求6所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:将获取的样本图像进行数据增强处理包括对样本图像进垂直翻转、添加噪声和随机旋转处理。

8.根据权利要求6所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法,其特征在于:将获取的样本图像进行数据增强处理包括对样本图像进行水平翻转、添加噪声和随机旋转处理。