1.一种基于目标检测算法的钢绳表面缺陷识别方法,其特征在于,按照以下步骤具体实施:
步骤1、实时图像采集;
步骤2、DeblurGAN钢绳去运动模糊模型,
将实时采集的钢绳模糊图片Im,利用DeblurGAN去运动模糊网络得到去运动模糊后的钢绳生成图片Om;
步骤3、构建钢绳表面缺陷目标检测模型,
钢绳表面缺陷目标监测模型采用Mobilenet+FPN轻量级目标检测网络结构,去运动模糊处理后的钢绳生成图片Om,通过钢绳表面缺陷目标检测模型,实现对钢绳表面缺陷的目标检测,输出为检测到的钢绳表面缺陷。
2.根据权利要求1所述的基于目标检测算法的钢绳表面缺陷识别方法,其特征在于:所述的步骤1中,在钢绳应用现场,利用高速摄像头,得到采样区段钢绳状态的实时视频图像流,对图像流每5帧进行一次帧提取,得到一张钢绳模糊图片Im。
3.根据权利要求2所述的基于目标检测算法的钢绳表面缺陷识别方法,其特征在于:所述的步骤2中,所述的DeblurGAN去运动模糊网络由生成器G和判别器D组成,具体结构是:
2.1)生成器G的网络结构为:钢绳模糊图片Im经过1层卷积、实例归一化层和激活层后,保持输入数据的尺寸不变;然后,进行2次上采样,将图像特征层增至256个;再经过9层残差卷积,每个残差卷积包含一个3*3卷积层3*3conv、实例归一化层InstanceNorm和ReLU激活层;随后,进行2次下采样、1层卷积以及激活函数后输出;
2.2)判别器D的网络结构是:由1个卷积、4个下采样、1个卷积以及激活函数组成;判别器网络D的输入为:与钢绳模糊图片Im相对应的钢绳清晰图片Iq以及钢绳模糊图片Im经过生成器G后得到钢绳生成图片Om;判别器网络D对输入的两种图片进行相似程度判断;
DeblurGAN去运动模糊网络需要用一组钢绳图片样本集(RW-Im,RW-Iq)对DeblurGAN去运动模糊网络的生成器G和判别器D进行对抗训练,其中,RW-Im为钢绳模糊图片的样本集,RW-Iq为相应的钢绳清晰图片的样本集;经过大量钢绳图片样本训练,直到钢绳模糊图片样本集RW-Im经过生成器G后的生成图片样本集RW-Om与相应的钢绳清晰图片样本集RW-Iq相似度最好。最终将训练好的DeblurGAN去运动模糊网络的结构和参数设置在网络中,得到DeblurGAN钢绳去运动模糊模型。
4.根据权利要求3所述的基于目标检测算法的钢绳表面缺陷识别方法,其特征在于:所述的步骤3中,所述的Mobilenet+FPN轻量级目标检测网络结构是:
3.1)轻量级Mobilenet特征提取网络,由1个传统的卷积层加13个深度可分离卷积模块组成,每个模块采用了逐通道卷积+逐点卷积组合的结构,因此,轻量级Mobilenet特征提取网络总共有1+2*13=27层可分离卷积结构;
3.2)多尺度信息融合FPN检测网络,首先,将轻量级Mobilenet特征提取网络的第27层输出的13*13特征图,进行1*1和3*3的卷积操作,得到13*13的检测特征图;其次,将13*13的检测特征图进行双线性插值上采样得到26*26的上采样特征图,将26*26的上采样特征图与轻量级Mobilenet特征提取网络的第23层输出的26*26特征图进行融合,再进行一组卷积操作,得到26*26的检测特征图;再次,将26*26的检测特征图进行双线性插值上采样得到52*
52的上采样特征图,将52*52的上采样特征图和轻量级Mobilenet特征提取网络的第11层输出的52*52特征图进行信息融合,以及卷积操作,得到52*52的检测特征图;最后,将上述的
13*13的检测特征图、26*26的检测特征图以及52*52的检测特征图进行级联,最终形成钢绳缺陷检测的多尺度信息融合FNP检测结构。
5.根据权利要求4所述的基于目标检测算法的钢绳表面缺陷识别方法,其特征在于:所述的步骤3中,所述的Mobilenet+FPN轻量级目标检测网络在用于钢绳表面缺陷的在线智能检测前,需要利用钢绳各种缺陷的大量样本对目标检测网络模型进行训练,直到收敛,具体步骤如下:a)样本图片采集,在钢绳使用现场或缺陷钢绳回收处,收集不同光照条件下及不同损伤状态的钢绳缺陷图片;
b)进行钢绳的缺陷标注,利用labelImg软件对收集到的不同缺陷的钢绳缺陷图片进行缺陷标注,从而得到钢绳缺陷样本;
c)建立钢绳缺陷样本数据集,重复步骤2)的钢绳缺陷标注过程,对钢绳缺陷图片中不同的缺陷进行标注,得到不同缺陷以及不同缺陷状态的样本集;
d)Mobilenet+FPN轻量级目标检测网络训练,利用标注好的钢绳不同缺陷样本集对Mobilenet+FPN轻量级目标检测网络进行训练,直至模型收敛。