1.一种基于异源图像融合的高铁扣件缺陷识别方法,其特征在于,包括以下几个步骤:S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y);
S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准,使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置;
S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取,包括以下步骤:
将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入,利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征,二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络,输出二维灰度图像G(x,y)的特征集X1=[x1,x2,…,xn]和二维深度图像D(x,y)的特征集Y1=[y1,y2,…,yn],其中n表示点的数量;
S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射,并将映射后的特征进行融合,包括以下步骤:S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X1和二维深度图像D(x,y)的特征集Y1分别进行特征映射,映射后的特征分别表示为F1=M1X1,F2=M2Y1;
其中,M1和M2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的度量矩阵,F1和F2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)映射后的特征向量;
S42、为了求解M1和M2,定义损失函数Ψ如式(4):其中,
M1和M2表示为Mk(k=1,2), 是一个正定矩阵,ω1和ω2表示为ωk(k=1,2),ωk是一个非负的加权参数,λ是显著项和相关项约束之间的权重;D1(M1)和是D2(M2)分别是二维灰度图像G(x,y)和二维深度图像D(x,y)的显著项,C(M1,M2)表示模态间相关项;h是hinge损失函数,h(x)=max(0,x),zij满足式(8)及式(9)其中, xi,xj
为特征集X1中的特征点,yi,yj为特征集Y1中的特征点,若xi,xj或者yi,yj来自相同主题,则zij=1,表示正常扣件,否则zij=‑1,表示非正常扣件;u1,τ1,u2,τ2分别为根据经验设定的阈值参数;
S43、由于式(4)无封闭解,对式(4)做松弛,求解Mk和ωk;
S44、通过样本训练对Alexnet网络进行更新,根据S43步骤获得的度量矩阵M1和M2,分别对二维灰度图像G(x,y)和二维深度图像D(x,y)的特征向量进行映射,映射后的特征集分别表示为F1=M1X1,F2=M2Y1,再将映射的特征进行融合,形成融合特征F=[F1,F2];
S5、将融合后的特征输入SVM分类器,实现对扣件的分类。
2.根据权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法,其特征在于,所述步骤S1的实现方法包括以下步骤:S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上,三维线扫描相机垂直安装,使线激光垂直照射在扣件上,线阵相机安装在三维线扫描相机的线激光一侧,三维线扫描相机的线激光为二维线阵相机提供辅助光源,且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上;
S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上,扣件信号脉冲在扣件区域输出正电平,非扣件区域输出负电平,将扣件信号输出的脉冲与光电编码器输出的信号进行相与,再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集;
S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y),单个脉冲触发线阵相机采集一行图像,设图像的宽度为M,由N行图像构成一张大小为M×N的二维灰度图像G(x,y);
同时,单个脉冲触发三维线扫描相机采集一行深度图像,图像的宽度为M,由N行图像构成一张大小为M×N的二维深度图像D(x,y)。
3.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法,其特征在于,所述步骤S2的实现方法包括以下步骤:S21、以二维灰度图像G(x,y)作为浮动图像f,以二维深度图像D(x,y)作为参考图像r,利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换,使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置,式(1)中,R表示旋转矩阵,T表示平移向量,(xf,yf),(xr,yr)分别表示浮动图像f和参考图像r的坐标值,其中xf,xr分别表示浮动图像f和参考图像r的横坐标,yf,yr分别表示浮动图像f和参考图像r的纵坐标;
S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B),
其中,MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵,a和b表示图像的灰度级,pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率,pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率,pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率;
S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时,图像之间的互信息熵将最大,用式(3)表示为:
其中,Φ表示在不同的旋转参数下,二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵,MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵;
基于Barzilai‑Borwein算法求解式(3),获得最佳配准参数R,T。
4.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法,其特征在于,所述S43中对式(4)做松弛,求解Mk和ωk的方法利用交替优化法,包括以下步骤:定义松弛后的损失函数为Ψ,如式(10)所示:其中, 为权重因子;
对式(10)构建拉格拉日函数L(ω,η),表示为式(11):其中,η为拉格朗日乘数;
先固定Mk,求解ωk,
对式(11)求导,使 为0,ωk用式(12)进行更新,其中,Dk=Dk(Mk)(k=1,2)为上述的图像间模态显著项,p为迭代因子;
固定ωk,优化Mk,将式(10)的目标函数Ψ的对Mk求导进行优化,如式(13)所示:T
其中,Aij=(xi‑xj)(xi‑xj) ,h'为h(x)函数的倒数;同理方法求得利用式(14)对Mk进行更新,
其中,β为学习率;
当损失函数Ψ达到最小值时停止对Mk和ωk更新。
5.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法,其特征在于,所述步骤S5的实现方法包括以下步骤:S51、将融合特征F输入线性SVM,产生SVM分类器;
S52、将测试集特征输入SVM分类器中对测试集特征进行分类,得到灰度和深度图像的扣件图像分类结果。