1.一种桥梁质量检测中的裂缝拼接方法,其特征在于,包括以下步骤:(一)、安装设备:
将检测车行驶至桥梁待检测区域上方,并在检测车上安装向下的机械臂,在机械臂下部安装与桥梁待测部位平行的直线轨道,将直线轨道固定在桥墩上,将行走小车安装在直线轨道上,使行走小车沿着直线导轨进行往复运动,行走小车与控制主机相连,将环形LED光源、CCD相机经垂直升降台装在行走小车上方,调整相机镜头与桥梁底面的距离,由控制主机实现行走小车的往复行走及定位;
(二)、裂缝图像的采集:
启动桥梁检测车,操控机械臂,将行走小车送入桥梁底部待测部位下方,通过垂直升降台,调整CCD相机镜头与桥梁底面的距离,由控制主机控制行走小车,连续地拍摄桥梁底面的图像,拍摄完一趟后,检测车沿桥梁方向移动一段距离,继续拍摄相邻区域的图像,直至待测部位拍摄完,将采集的图像传给控制主机计算机,完成裂缝图像采集;
(三)、裂缝图像拼接:
1.特征点的提取
在桥梁质量检测过程中,对桥梁裂缝图像进行获取时候,由于摄像机的幅面有限,从而使得获取到的桥梁裂缝图像仅包含局部裂缝,同时,在采集裂缝图像时相机的视角和尺度发生变化,导致拍摄的相邻裂缝图像具有不同的尺度,即两图像具有不同的坐标系,因此需要在裂缝图像中提取出不随图像尺度变化的特征点,方法是:(1)检测尺度空间极值点
首先,通过裂缝图像采集,获取到一幅裂缝图像的灰度值f(x,y),计算不同尺度下的尺度空间,不同的尺度空间因子,表示高斯正态分布的方差,该值越大,表示裂缝图像被平滑的程度越大,相应的图像尺度也就越大,反之亦然;
x为像素点在X轴上的投影坐标;
y为像素点在Y轴上的投影坐标;
f(x,y)为输入裂缝图像的灰度值,取值范围为0到255;
其次,为快速准确地检测出稳定的特征点,利用计算出的D(x,y,σ)极值作为特征点判断依据;
最后,极值点的确定方法为:将每个像素与周围8个像素,同时加上上下相邻尺度对应的18个像素的D(x,y,σ)值进行比较,当被检测像素点的D(x,y,σ)值比此26个像素点的D(x,y,σ)值都要大时,或者都要小时,则认定该点为极值点,并将这点作为候选特征点同时保存;
(2)删除干扰特征点:
在得到的所有候选特征点中,有两种点是不稳定的:一是对比度低的点,其对噪声敏感;二是边缘上的点,其难以准确定位,需剔除这两种点;
剔除对比度低的点的方法是:
首先,对求得的D(x,y,σ)进行泰勒级数展开;
其次,利用候选特征点x是差分高斯函数的极值点这个事实,对D(x,y,σ)求x的一阶偏导数,并令其为零,求解此偏微分方程;
最后,执行多次迭代过程,求得最终时刻候选点的位置与尺度,借助于解得的Δx,求得设定阈值T,当 时,则保留该特征点,否则剔除该点;
剔除边缘点的方法是:
由于边缘上得到的D(x,y,σ)极值点的主曲率值较非边缘区域的极值点曲率值大,所以通过设定阈值,就可以将主曲率比值大于该阈值的点认定为边缘点,并剔除;
(3)确定特征点的方向:
对于参考图像和待拼接图像,求图像中每个点梯度的模与方向,对每个特征点,统计以其为中心的领域像素的梯度分布,生成一直方图,找到直方图的最高峰值,利用距离最高峰值最近的三个柱值通过抛物线差值得到关键点的方向;
(4)生成特征点的特征向量:
以特征点为中心,取一个16×16的窗口,并将窗口分成16个4×4的小块,统计各个小块在8个方向的梯度分布情况,并在每个小块的中心产生一个种子点,每一个种子点含有8个方向的信息,最后每个特征点就有16×8=128个数据,产生128维的特征向量;
2.特征点的匹配:
使用匹配算法识别在参考图像和待拼接图像之间的同一个物体点,方法是:(1)利用根据上一步得到的特征向量,计算特征点的欧氏距离;
(2)在参考图像中找出与待拼接图像特征点距离最近与次近的两个特征点,得到最近距离与次近距离的比值r;
(3)设定阈值T,若r>T,认为最近点为该特征点的匹配点,即构成一对匹配点;
重复上述步骤,得到两图像的若干对匹配点;
3.裂缝图像拼接:
通过计算欧氏距离确定的匹配算法过程较简单快捷,但有一个明显的不足就是匹配点对数受设定阈值的影响较大;为消除特征点的误匹配,初匹配之后采用下述方法来剔除误匹配,提纯特征点,并通过提纯后的特征点来求解图像之间的变换矩阵,初始变换矩阵为H:(1)计算待拼接图像I中每个特征点(x,y)对应的参考图像I'中的点(x',y'),计算两点之间的误差e=I'(x',y')‑I(x,y),计算累加所有匹配点对的距离之和,把E作为优化hi(i=0,1,...,7)的目标函数,使用非线性迭代算法最小化E;
(2)计算hi,i=0,1,...,7,相对于误差e的偏导数;
‑1
(3)构造增量函数Δh=(A+λI) b来计算H,其中A的分量为 b的分量为求解H增量函数得到一个Δh,并修正H;
(4)判断累加值E,若E值减小但不小于设定阈值,则继续计算新的Δh,否则增大λ,重新计算Δh;
(5)当E小于设定的阈值时,停止迭代,此时的变换矩阵H就是图像间的最终变换矩阵:根据最终变换矩阵H将待拼接图像变换至与参考图像相同坐标系下,并将待拼接图像和参考图像一起映射到一个新的空白图像中,形成最终拼接图像;
(四)拼接图像预处理:
拼接后的图像中,裂缝与背景通常具备一定的区分度,但由于影像设备、外部环境以及桥面复杂的纹理,往往不能从中直接分离出目标裂缝,因此需对图像做一系列预处理,为后续的图像分割以及图像识别和分析做准备,图像预处理包括:图像灰度化、灰度级变换和图像滤波,方法是:
1.裂缝图像灰度化
由于拼接后的裂缝图像是真彩RGB图像,在检测裂缝过程中,只需要图像的亮度(灰度)值信息,而图像的颜色信息没有实质的用处,且会徒增计算量,因此,利用灰度变换公式将裂缝图像由真彩RGB图像处理为灰度级图像;
f(x,y)=wRR(x,y)+wGG(x,y)+wBB(x,y)f(x,y)‑‑裂缝图像处理后的灰度值,取值范围为0到255;
R(x,y)‑‑原始裂缝图像的红原色分量值,取值范围为0到255;
G(x,y)‑‑原始裂缝图像的绿原色分量值,取值范围为0到255;
B(x,y)‑‑原始裂缝图像的蓝原色分量值,取值范围为0到255;
wR‑‑原始裂缝图像的红原色分量值的权值,取值0.299;
wG‑‑原始裂缝图像的绿原色分量值的权值,取值0.587;
wB‑‑原始裂缝图像的蓝原色分量值的权值,取值0.114;
x‑‑裂缝图像像素点在X轴上的投影坐标;
y‑‑裂缝图像像素点在Y轴上的投影坐标;
2.裂缝图像加强
通过设定好的阈值,利用图像加强技术,将数值低于和高于该阈值的灰度分别压缩至两个区间内,从而实现裂缝图像的平衡光照、减弱背景干扰并增强目标裂缝;
对于灰度值低于阈值和高于阈值的像素所在的区间,对比度拉伸会分别将这些区间压缩至两个更窄的区间内,形成较暗和较亮的两个区域,因此输出的是一幅具有高对比度的图像,采用对比度拉伸变换后的图像,裂缝得到明显的增强,同时,弱化背景;
3.裂缝图像滤波:
图像滤波的作用是滤除图像中噪声对应的波形并尽量保留图像细节特征完整,是图像预处理中必不可少的操作,图像滤波结果的质量对于后续图像检测和分析的可信度以及有效性有直接的影响;
对于裂缝图像f(x,y)内任意像素点(x,y),定义滤波模板W,利用滤波公式,计算输出图像g(x,y);
g(x,y)=med{f(x‑k,y‑l),(k,l∈W)}g(x,y)‑‑滤波后裂缝图像的灰度值,取值范围为0到255;
f(x,y)‑‑滤波前裂缝图像的灰度值,取值范围为0到255;
med()‑‑取中值运算;
W‑‑滤波模板,采用3×3二维模板;
k‑‑滤波模板X轴上的大小,取值3;
l‑‑滤波模板Y轴上的大小,取值3;
x‑‑像素点在X轴上的投影坐标;
y‑‑像素点在Y轴上的投影坐标。
2.根据权利要求1所述的桥梁质量检测中的裂缝拼接方法,其特征在于,包括以下步骤:(一)、安装设备:
将检测车(1)行驶至桥梁(2)待检测区域上方,并在检测车(1)上安装向下的机械臂(3),在机械臂(3)下部安装与桥梁待测部位(10)平行的直线轨道(5),将直线轨道(5)固定在桥墩(4)上,将行走小车(8)安装在直线轨道(5)上,使行走小车(8)沿着直线导轨(5)进行往复运动,行走小车(8)与控制主机相连,将环形LED光源(7)、CCD相机(6)经垂直升降台(9)装在行走小车(8)上方,调整相机镜头与桥梁底面的距离,由控制主机实现行走小车的往复行走及定位;
将桥梁检测车行驶至待测区域上方,活动平衡重推出,支撑轮下降,工作装置起升,工作装置伸到桥外,工作平台下放,滑动桁架下降,工作平台向桥内回转,内平台伸出;
清除平台装配面的污物,将直线导轨平稳放在平台上,锁装配螺丝确认螺栓孔是否吻合,使用侧向固定螺丝,确定直线轨道(5)位置,锁装配螺丝确认螺栓孔是否吻合,并将导轨底部基准面固定于工作平台,依据上述步骤安装其余配对直线轨道;
将行走小车轻轻放置在直线轨道滑块上,不完全锁紧安装螺栓,通过止动螺丝将直线导轨滑块的基准侧与行走小车侧面基准面接触,使行走小车定位,全锁紧基准侧和从动侧的装配螺栓,完成安装;
伺服电机控制行走小车沿着直线导轨进行往复运动,通过MODBUS连接到控制主机;
将环形LED光源安装在CCD相机镜头底部,再将安装有环形LED光源的CCD相机固定在行走小车上方;
通过垂直升降台调整相机镜头与桥梁底面的距离,使相机与桥梁底面的距离控制在
180‑220mm;
控制主机放置在控制柜,一方面通过MODBUS连接到伺服电机,从而控制电机参数调节、电机转速设定、电机速度获取、位置脉冲获取,最终实现行走小车定位控制;另外一方面通过以太网接口连接到CCD相机,实现图像的裂缝图像的采集;
(二)、裂缝图像的采集:
a.启动桥梁检测车;
b.操控机械臂,将行走小车送入桥梁底部指定位置;
c.通过垂直升降台在垂直方向的运动,调整相机镜头与桥梁底面的距离,使相机与桥梁底面的距离控制在180‑220mm;
d.通过控制主机设置行走小车在直线导轨行走的速度、停顿时间与方向,保证相机顺利连续地拍摄桥梁底面图像;
e.扫描完一趟后,桥梁检测车带着机械臂沿桥梁方向移动110mm,小车反向行走,继续拍摄相邻区域的图像,直到扫描整个行程;
f.拍摄完成,将采集的图像经以太网接口传给计算机,由此完成裂缝图像采集;
采集到的图像为真彩RGB图像,采用JPG格式,为后续图像处理与分析提供原始数据;
(三)、裂缝的图像拼接
1.特征点的提取
在桥梁质量检测过程中,对桥梁裂缝图像进行获取时候,由于摄像机的幅面有限,从而使得获取到的桥梁裂缝图像仅包含局部裂缝,同时,在采集裂缝图像时相机的视角和尺度发生变化,导致拍摄的相邻裂缝图像具有不同的尺度,即两图像具有不同的坐标系,因此需要在裂缝图像中提取出不随图像尺度变化的特征点,方法是:(1)检测尺度空间极值点:
通过裂缝图像采集步骤,获取到的一幅裂缝图像f(x,y),利用式(1),计算不同尺度下的尺度空间:L(x,y,σ)=G(x,y,σ)*f(x,y) 式(1)L(x,y,σ)‑‑输出裂缝图像不同尺度下的尺度空间;
G(x,y,σ)‑‑高斯核,
f(x,y)‑‑输入裂缝图像的灰度值,取值范围为0到255;
x‑‑像素点在X轴上的投影坐标;
y‑‑像素点在Y轴上的投影坐标;
σ‑‑尺度空间因子,表示高斯正态分布的方差,该值越大,表示裂缝图像被平滑的程度越大,相应的图像尺度也就越大,反之亦然;
σ为快速准确地检测出稳定的特征点,利用式(2)计算出的D(x,y,σ)极值作为特征点判断依据;
D(x,y,σ)=[G(x,y,kσ)‑G(x,y,σ)]*f(x,y)=L(x,y,kσ)‑L(x,y,σ) 式(2)D(x,y,σ)‑‑相邻两个高斯平滑后图像的差值;
G(x,y,σ)‑‑相邻两层中,第一层的高斯核,G(x,y,kσ)‑‑相邻两层中,第二层的高斯核,L(x,y,σ)‑‑相邻两层中,第一层的尺度空间;
L(x,y,kσ)‑‑相邻两层中,第二层的尺度空间;
f(x,y)‑‑输入裂缝图像的灰度值,取值范围为0到255;
x‑‑像素点在X轴上的投影坐标;
y‑‑像素点在Y轴上的投影坐标;
σ‑‑尺度空间因子,表示高斯正态分布的方差,该值越大,表示裂缝图像被平滑的程度越大,相应的图像尺度也就越大;该值越小,表明被平滑的程度越小,相应的图像尺度也就越小;
k‑‑相邻两尺度的比值;
极值点的确定方法为:将每个像素与周围8个像素,同时加上上下相邻尺度对应的18个像素的D(x,y,σ)值进行比较,当被检测像素点的D(x,y,σ)值比此26个像素点的D(x,y,σ)值都要大时,或者都要小时,则认定该点为极值点,并将这点作为候选特征点同时保存;
(2)删除干扰特征点
在得到的所有候选特征点中,有两种点是不稳定的,一是对比度较低的点,其对噪声敏感;二是边缘上的点,其难以准确定位,因此有必要剔除这两种点;
剔除对比度低的点的具体实施过程为:
将求得的D(x,y,σ)利用式子(3)进行泰勒级数的展开:Δx‑‑候选特征点x的偏移量;
利用候选特征点x是差分高斯函数的极值点这个事实,令D(x,y,σ)对x的一阶偏导数为零,即 解得执行多次迭代过程,求得最终时刻候选点的位置与尺度 借助于解得的Δx,求得设定阈值T,当 时,则保留该特征点,否则剔除该点;
剔除边缘点的具体实施过程为:由于边缘上得到的D(x,y,σ)极值点的主曲率值较非边缘区域的极值点曲率值大,所以通过设定阈值,就可以将主曲率比值大于该阈值的点认定为边缘点,并剔除;
候选特征点的D(x,y,σ)的主曲率正比于大小为2×2的Hessian矩阵H的特征值;
H‑‑Hessian矩阵;
Dxx‑‑候选特征点领域(x,x)位置的灰度差分;
Dxy‑‑候选特征点领域(x,y)位置的灰度差分;
Dyy‑‑候选特征点领域(y,y)位置的灰度差分;
x‑‑像素点在X轴上的投影坐标;
y‑‑像素点在Y轴上的投影坐标;
设矩阵H的最大特征值为α,最小特征值为β,则有α+β=Dxx+Dyy, 令γ=α/β,则 设定阈值T,当 时,则该点被认定为边缘点,并予以剔除;
(3)确定特征点的方向:
对于参考图像和待拼接图像,利用式(5)和式(6)求图像中每个点梯度的模m(x,y)与方向θ(x,y):m(x,y)‑‑特征点梯度的模;
θ(x,y)‑‑特征点梯度的方向;
L(x,y)‑‑特征点所处的图像尺度;
对每个特征点,统计以其为中心的领域像素的梯度分布,生成一直方图,找到直方图的最高峰值,利用距离最高峰值最近的三个柱值通过抛物线差值得到关键点的方向;
(4)生成特征点的特征向量:
以特征点为中心,取一个16×16的窗口,并将窗口分成16个4×4的小块,统计各个小块在8个方向的梯度分布情况,并在每个小块的中心产生一个种子点,每一个种子点含有8个方向的信息,最后每个特征点就有16×8=128个数据,产生128维的特征向量;
2.特征点的匹配:
这一步使用匹配算法识别在参考图像和待拼接图像之间的同一个物体点,方法是:(1)利用根据上一步得到的特征向量,计算特征点的欧氏距离;
(2)在参考图像中找出与待拼接图像特征点距离最近与次近的两个特征点,得到最近距离与次近距离的比值r;
(3)设定阈值T,若r>T,认为最近点为该特征点的匹配点,即构成一对匹配点;
重复上述步骤,得到两图像的若干对匹配点;
3.裂缝图像拼接
通过计算欧氏距离确定的匹配算法过程较简单快捷,但有一个明显的不足就是匹配点对数受设定阈值的影响较大,为消除特征点的误匹配,初匹配之后采用下述方法来剔除误匹配,提纯特征点,并通过提纯后的特征点来求解图像之间的变换矩阵,方法是:设初始变换矩阵为
(1)计算待拼接图像I中每个特征点(x,y)对应的参考图像I'中的点(x',y'),计算两点之间的误差e=I'(x',y')‑I(x,y),利用式子(8)计算累加所有匹配点对的距离之和:把E作为优化hi(i=0,1,...,7)的目标函数,使用非线性迭代算法最小化E;
(2)计算hi(i=0,1,...,7)相对于误差e的偏导数;
‑1
(3)构造增量函数Δh=(A+λI) b来计算H,其中A的分量为 b的分量为求解H增量函数得到一个Δh,并修正H;
(4)判断累加值E,若E值减小但不小于设定阈值,则继续计算新的Δh,否则增大λ,重新计算Δh;
(5)当E小于设定的阈值时,停止迭代,此时的变换矩阵H就是图像间的最终变换矩阵;
(四)拼接图像处理
拼接后的图像中,裂缝与背景通常具备一定的区分度,但由于影像设备、外部环境以及桥面复杂的纹理,往往不能从中直接分离出目标裂缝,因此需对图像做一系列预处理,为后续的图像分割以及图像识别和分析做准备,图像预处理包括图像灰度化、灰度级变换和图像滤波,方法是:
1.裂缝图像灰度化:
由于拼接后的裂缝图像是真彩RGB图像,在检测裂缝过程中,只需要图像的亮度(灰度)值信息,而图像的颜色信息没有实质的用处,且会徒增计算量,因此,利用式(9)将裂缝图像由真彩RGB图像处理为灰度级图像:f(x,y)=wRR(x,y)+wGG(x,y)+wBB(x,y) 式(9)f(x,y)‑‑裂缝图像处理后的灰度值,取值范围为0到255;
R(x,y)‑‑原始裂缝图像的红原色分量值,取值范围为0到255;
G(x,y)‑‑原始裂缝图像的绿原色分量值,取值范围为0到255;
B(x,y)‑‑原始裂缝图像的蓝原色分量值,取值范围为0到255;
wR‑‑原始裂缝图像的红原色分量值的权值,取值0.299;
wG‑‑原始裂缝图像的绿原色分量值的权值,取值0.587;
wB‑‑原始裂缝图像的蓝原色分量值的权值,取值0.114;
x‑‑裂缝图像像素点在X轴上的投影坐标;
y‑‑裂缝图像像素点在Y轴上的投影坐标;
2.裂缝图像加强:
通过设定好的阈值m,利用式(10),将数值低于和高于该阈值的灰度分别压缩至两个区间内,从而实现裂缝图像的平衡光照、减弱背景干扰并增强目标裂缝:S‑‑输出图像的灰度值,取值范围为0到255;
r‑‑输入图像的灰度值,取值范围为0到255;
m‑‑设定的阈值,初始取值0.5;
E‑‑用于控制函数的斜率,取值5;
对于灰度值低于m和高于m的像素所在的区间,对比度拉伸会分别将这些区间压缩至两个更窄的区间内,形成较暗和较亮的两个区域,因此输出的是一幅具有高对比度的图像,采用对比度拉伸变换后的图像,裂缝得到明显的增强,同时,弱化背景;
3.裂缝图像滤波:
图像滤波的作用是滤除图像中噪声对应的波形并尽量保留图像细节特征完整,是图像预处理中必不可少的操作,图像滤波结果的质量对于后续图像检测和分析的可信度以及有效性有直接的影响;
对于裂缝图像f(x,y)内任意像素点(x,y),定义滤波模板W,利用式(11),计算输出图像g(x,y):g(x,y)=med{f(x‑k,y‑l),(k,l∈W)} 式(11)g(x,y)‑‑滤波后裂缝图像的灰度值,取值范围为0到255;
f(x,y)‑‑滤波前裂缝图像的灰度值,取值范围为0到255;
med()‑‑取中值运算;
W‑‑滤波模板,采用3×3二维模板;
k‑‑滤波模板X轴上的大小,取值3;
l‑‑滤波模板Y轴上的大小,取值3;
x‑‑像素点在X轴上的投影坐标;
y‑‑像素点在Y轴上的投影坐标。