欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106787260
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种用于受电弓故障的车载图像识别方法,其特征在于,包括以下步骤:S1:应用针对弓头定位设计的深度学习模型检测弓头位置坐标,以缩小检测范围,同时对受电弓的异常降弓、毁坏的检测;具体包括以下步骤:S11:通过车载受电弓图像采集设备获取受电弓原始图像;

S12:对采集的实时图像,采用间隔u帧进行受电弓位置检测,更新位置;若参数u未达到指定帧数i,受电弓位置坐标沿用上一次检测结果,参数迭代u=u+1,故障检测直接进入步骤S2;

S13:当u=i时,将采集到的原始图像输入到受电弓定位检测设计的深度学习目标检测模型,检测图像中存在的受电弓及其位置坐标;

S14:根据设置的类别置信度阈值,去除检测结果中低于该阈值的目标,由非极大值抑制去除冗余定位框,最终获得正确弓头定位结果;记录下该帧图像检测结果,迭代参数u=

0;

S15:若当前受电弓位置检测帧,没有检测到受电弓,则u=i,重新执行步骤S1流程,并用历史检测中的前n‑1帧检测结果,与当前帧检测结果对比,若为连续n帧图像没有检测到受电弓,则判定为受电弓异常降弓与毁坏;

S2:根据弓头定位框坐标及大小扩张区域边界,裁剪出受电弓弓头区域;

S3:应用针对受电弓分割的深度学习图像分割模型对弓头区域图像分割,获得代表弓角及碳滑板的像素区域分割掩码;

S4:对分割后的掩码二值化,得到二值图,并做相应的平滑处理;

S5:应用弓角及碳滑板的标准模板在二值图中进行模板匹配,通过模板匹配实现故障识别与定位分析,得到相关坐标;

S6:将受电弓目标检测结果、故障识别结果、图像分割掩码到原图进行综合检测结果标识,并记录检测日志;

所述针对弓头定位设计的深度学习模型为:受电弓弓头定位网络采用Faster R‑CNN的基本构架,检测网络采用ResNet50作为共享特征提取网络,在res3、res4、res5的输出层上构建3层的特征图金字塔用于预测候选区域,每层设计3种预设窗口,通过特征映射与ROI Align池化获取目标特征,再经全连接层后实现弓头识别与定位,模型中,特征提取网络初段采用7×7卷积滤除无用信息,其余特征提取采用1×1、3×3组合卷积获取详细局部信息,在所有卷积层后添加批归一化层,在其后添加Relu激活层;

所述针对受电弓分割的深度学习图像分割模型为:图像特征提取的主干架构采用ResNet‑50网络,模型输入图像尺寸设置为608×608,能适应200万像素或500万像素相机采集图像,弓头区域不会过度缩放;通过弓头定位后获得的弓头待检测区域图像缩放统一尺寸后,目标没有多尺度特性,因此候选区域推荐网络,采用单层预测结构,anchor框设置只1种面积大小,长宽比为{2:1,3:1,4:1},总共仅有3种候选框;检测头包含分类、定位、分割的结构,设定输出掩码尺寸为84×84,由14×14大小的特征图反卷积到28×28,再经反卷积到

84×84,对输出特征图逐像素应用Sigmoid单分类器后只输出一类分割掩码,输出特征图为

84×84×1,分类与定位分支的全连接层采用平均池化计算。

2.根据权利要求1所述的用于受电弓故障的车载图像识别方法,其特征在于:所述步骤S2具体包括以下步骤:S21:目标检测模型最终输出结果包含目标置信度,目标矩形边界框的左上角坐标以及边界框的框与高,用(x,y,w,h)向量表示,以该边界框为基准,扩展边界框,保证扩展后的边界框在任何情况下有完整的受电弓弓角图像,迭代坐标参数向量;

(x,y,w,h)=(x‑a,y‑b,w+2a,h+2b)

式中,a,b为边界扩张量;

S22:采用步骤S21中扩展后的边界框参数,裁剪出弓头区域图像。

3.根据权利要求1所述的用于受电弓故障的车载图像识别方法,其特征在于:所述步骤S3具体包括以下步骤:S31:将弓头区域图像输入到弓角及碳滑板分割的深度学习实例分割模型,模型实时输出可能的弓角与碳滑板整体的分割掩码、置信度、位置坐标;

S32:根据设置的类别置信度阈值,去除检测结果中低于该阈值的目标,由非极大值抑制去除冗余定位框及其目标掩码,最终获得正确弓的弓角及碳滑板分割掩码、整体位置坐标。

4.根据权利要求1所述的用于受电弓故障的车载图像识别方法,其特征在于:所述步骤S4由获得的目标掩码信息得到相应的二值图,并使用中值滤波平滑图像边缘,去除目标边界处的“锯齿”不平滑效果。

5.根据权利要求1所述的用于受电弓故障的车载图像识别方法,其特征在于:所述步骤S5具体包括以下步骤:S51:确定左弓角、右弓角、碳滑板检测搜索区域,以减少计算量,用左上角及右下角坐标限定矩形区域,搜索区域限定计算如下:(a)左弓角搜索区域限定

式中:(Lxl,Lyl)、(Lxr,Lyr)分别表示左弓角搜索区域左上角、右下角坐标,x、y、w、h表示分割模型输出的弓角与碳滑板组合体的定位框的左上角坐标及宽、高,δx=80、δy=40表示扩展余量, 表示比例系数;

(b)碳滑板搜索区域限定

式中:(Mxl,Myl)、(Mxr,Myr)表示碳滑板搜索区域左上角、右下角坐标,(c)右弓角搜索区域限定

式中:(Rxl,Ryl)、(Rxr,Ryr)表示右弓角搜索区域左上角、右下角坐标,其余参数同上;

S52:分别使用左弓角、右弓角、碳滑板标准图像的二值图作为模板,在S51中相应的区域匹配检测,获得并记录下弓角、碳滑板的位置坐标及匹配度信息,位置坐标用于标识部件位置,匹配度用于判断部件状态的异常或正常。

6.根据权利要求1所述的用于受电弓故障的车载图像识别方法,其特征在于:所述步骤S6具体包括以下步骤:S61:通过弓角、碳滑板模板匹配检测的数据记录,将该帧图像的检测结果与前面m‑1帧图像检测记录对比,若弓角与碳滑板中某一个或全部连续出现m帧结果为异常,则确定受电弓的该部件出现故障;

S62:根据S61检测结果,结合S52的检测坐标及匹配度在原图标识,保存数据,检测系统调用预留的接口,获取数据并在系统客户端现实实时监测结果,为维护人员查看与分析提供实时的检测结果可视化。