1.基于机器视觉的滚轮罐耳运行状态检测方法,其特征在于,包括如下步骤:步骤1. 首先对采集的滚轮罐耳图像利用Retinex算法进行图像增强以及滤波预处理;
步骤2. 对预处理后的图像进行投影变换处理转换成正视拍摄视角下的滚轮罐耳图像;
所述步骤2具体为:
对经过步骤1预处理后的图像进行投影变换矫正时,给出如下公式(3)至公式(5);
(3)
X= x’/ w’=(a11u+a12v+a13)/(a31 u+a32v+a33) (4)Y= y’/ w’=(a21u+a22v+a23)/(a31 u+a32v+a33) (5)其中,(u,v)为预处理后的图像的像素坐标,(X,Y)为投影变换之后的图像的像素坐标; (x’,y’,w’)为投影变换后的齐次坐标,aij表示变换参数,i=1,2,3,j=1,2,3;
在预处理后的图像中通过椭圆检测提取胶轮的内圈轮廓,并在胶轮的内圈轮廓上提取以椭圆中心o为坐标原点建立的xoy坐标系与x轴、y轴相交的4个坐标点的坐标;
然后求得当内圈轮廓转换成以椭圆长轴为半径的正圆时4个坐标点对应点的坐标;
将以上4个坐标点在变换前、后的坐标值,分别代入上述公式(3)中建立方程组,通过解方程组得到投影变换矩阵Tr;
进一步将该投影变换矩阵Tr与预处理后的图像相乘,将预处理后的图像中的每一个像素点都还原到正视拍摄视角下的场景中,得到正视拍摄视角下的滚轮罐耳图像;
步骤3. 对投影变换后的图像进行裁剪并提取滚轮图像;
步骤4. 使用Otsu阈值分割与连通域结合的方法对滚轮图像进行处理,提取胶轮图像;
所述步骤4具体为:
步骤4.1. 分别计算滚轮图像中胶轮区域和非胶轮区域的灰度均值,得到胶轮区域的像素均值uA以及非胶轮区域的像素均值uB,并代入下述公式(6);
uA=1/NA*∑(m,n) ∈A f(m,n),uB=1/NB*∑(m,n) ∈B f(m,n) (6)其中,A表示胶轮区域,B表示非胶轮区域,(m,n)表示滚轮图像中的像素坐标;
NA和NB分别表示胶轮区域和非胶轮区域的像素个数;
定义O(T)表示类间方差,如公式(7)所示;
2
O(T)=NA(T) *NB(T) *[uA(T)‑ uB(T)] (7)其中,T表示分割阈值;
NA(T)、NB(T)表示分割阈值为T时对应的胶轮区域和非胶轮区域的像素个数;
uA(T)、uB(T)表示分割阈值为T时对应的胶轮区域和非胶轮区域的像素均值;
当O(T)取最大值时对应的分割阈值T,作为最佳分割阈值Tmax;
步骤4.2. 将最佳分割阈值Tmax代入到公式(8),将步骤3提取的滚轮图像中像素点灰度值大于Tmax的设为1,即为胶轮区,非胶轮区域的灰度值设为0,进行阈值分割;
当f(m,n)>Tmax时,g(m,n)=1,f(m,n) ≤Tmax时,g(m,n)=0 (8)其中,f(m,n)表示分割前的滚轮图像像素值,g(m,n)表示分割后的图像像素值;
步骤4.3. 经过阈值分割后胶轮图像的连通域最大,因此,将滚轮图像中其他较小的连通域像素值取0,以实现胶轮区域的提取,通过提取得到胶轮图像;
步骤4.4. 使用数字形态学对经过步骤4.3提取得到的胶轮图像进行细化,去除胶轮图像中的边缘毛刺和孤立斑点,最终得到较为光滑的胶轮图像;
步骤5. 从胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘,并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓;
进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像;
所述步骤5具体为:
步骤5.1. 先进行Canny边缘检测,从胶轮图像中提取出胶轮的边缘得到胶轮边缘图像;
步骤5.2. 使用最小二乘法圆拟合从胶轮边缘图像中分离出胶轮内圈边缘与外圈边缘;
所述步骤5.2具体为:
首先对步骤5.1处理后的胶轮边缘图像进行最小二乘法圆拟合;
其中,拟合出来的圆位于胶轮内圈边缘轮廓与外圈边缘轮廓之间,通过拟合的圆建立掩膜与胶轮边缘图像进行逻辑运算,即可将胶轮的内圈边缘和外圈边缘轮廓分割出来;
步骤5.3. 分别对胶轮内圈边缘以及外圈边缘图像进行亚像素点提取;
步骤5.4. 对提取的亚像素点进行3次B样条曲线拟合,弥补缺失的边缘部分,通过拟合得到胶轮的内圈边缘轮廓图和外圈边缘轮廓图;
进一步基于补全后的胶轮内圈边缘轮廓图和外圈边缘轮廓图得到完整的胶轮图像;
所述步骤5.4具体为:
在对胶轮边缘提取的亚像素点进行拟合时,设置三次B样条曲线方程的基函数为:
3 2 3 2 3 2
F0,3(t)=1/6(‑t+3t ‑t+1),F1,3(t)=1/6(3t ‑6t +4),F2,3(t)=1/6(‑3t+3t +3t+1),
3
F2,3(t)= 1/6 t(9)
其中,t为参数,t∈(0,1),Fs,3(t)表示第s个3次B样条基函数,s =0,1,2,3;
基于公式(9)中的基函数,得到三次B样条曲线方程,如公式(10)所示:P(t)=P0F0,3(t)+ P1F1,3(t)+ P2F2,3(t)+ P3F3,3(t) (10)式中,Ps为控制曲线的特征点,s =0,1,2,3,P(t)表示三次B样条曲线方程;
对拟合补全的外圈边缘轮廓图与内圈边缘轮廓图分别进行连通域填充,将填充后的外圈边缘轮廓图减去填充后的内圈边缘轮廓图得到胶轮掩膜;
将胶轮掩膜与所述滚轮图像进行逻辑与运算得到完整的胶轮图像;
步骤6. 在完整的胶轮图像中以胶轮内圈圆心为坐标原点向外发射多条射线,通过抽样测量获得胶轮的多个厚度值,通过计算得到厚度的平均值;
然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况,进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态;
所述步骤6具体为:
在完整的胶轮图像中以胶轮内圈的圆心为中心,向该完整的胶轮图像所在平面内360度范围内均匀发射多条射线,分别求取各条射线与外圈的交点到中心的距离值;
将以上各个距离值分别减去胶轮内圈的半径值得到胶轮的多个厚度值;将各个厚度值取平均得到厚度的平均值;将该厚度的平均值与预设胶轮磨损阈值进行比较:若厚度的平均值小于胶轮磨损阈值,则胶轮磨损严重,此时表明滚轮罐耳的运行状态不良;否则认为胶轮磨损在正常范围,此时表明滚轮罐耳的运行状态良好。
2.根据权利要求1所述的基于机器视觉的滚轮罐耳运行状态检测方法,其特征在于,所述步骤1中,对采集的滚轮罐耳图像进行图像增强的过程如下:对采集的滚轮罐耳图像进行如下公式的变换:
r(x,y)= wk* {log S(x,y)‑log[Fk(x,y)* S(x,y)]} (1)其中,(x,y)表示滚轮罐耳图像的像素坐标,r(x,y)为输出图像即图像增强后的图像;S(x,y)为原始图像;N为尺度数目,取值为3;
wk表示每个尺度对应的权重因子,取值为w1= w2= w3=1/3;
F(x,y)为环绕函数,Fk(x,y)为第k个环绕函数,其表达式为: (2)
其中,σk为尺度参数,λk为尺度因子,k=1,2,3,σ1=15,σ2=80,σ3=250;
λk的取值满足 Fk(x,y)=1。
3.基于机器视觉的滚轮罐耳运行状态检测装置,其特征在于,包括:预处理模块,用于对采集的滚轮罐耳图像利用Retinex算法进行图像增强以及滤波预处理;
投影变换处理模块,用于对预处理后的图像进行投影变换处理,转换成正视拍摄视角下的滚轮罐耳图像;
对经过预处理后的图像进行投影变换矫正时,给出如下公式(3)至公式(5);
(3)
X= x’/ w’=(a11u+a12v+a13)/(a31 u+a32v+a33) (4)Y= y’/ w’=(a21u+a22v+a23)/(a31 u+a32v+a33) (5)其中,(u,v)为预处理后的图像的像素坐标,(X,Y)为投影变换之后的图像的像素坐标; (x’,y’,w’)为投影变换后的齐次坐标,aij表示变换参数,i=1,2,3,j=1,2,3;
在预处理后的图像中通过椭圆检测提取胶轮的内圈轮廓,并在胶轮的内圈轮廓上提取以椭圆中心o为坐标原点建立的xoy坐标系与x轴、y轴相交的4个坐标点的坐标;
然后求得当内圈轮廓转换成以椭圆长轴为半径的正圆时4个坐标点对应点的坐标;
将以上4个坐标点在变换前、后的坐标值,分别代入上述公式(3)中建立方程组,通过解方程组得到投影变换矩阵Tr;
进一步将该投影变换矩阵Tr与预处理后的图像相乘,将预处理后的图像中的每一个像素点都还原到正视拍摄视角下的场景中,得到正视拍摄视角下的滚轮罐耳图像;
滚轮图像提取模块,用于对投影变换后的图像进行裁剪,提取滚轮图像;
胶轮图像提取模块. 用于对提取的滚轮图像使用Otsu阈值分割与连通域结合的方法进行处理,从而提取出胶轮图像;
分别计算滚轮图像中胶轮区域和非胶轮区域的灰度均值,得到胶轮区域的像素均值uA以及非胶轮区域的像素均值uB,并代入下述公式(6);
uA=1/NA*∑(m,n) ∈A f(m,n),uB=1/NB*∑(m,n) ∈B f(m,n) (6)其中,A表示胶轮区域,B表示非胶轮区域,(m,n)表示滚轮图像中的像素坐标;
NA和NB分别表示胶轮区域和非胶轮区域的像素个数;
定义O(T)表示类间方差,如公式(7)所示;
2
O(T)=NA(T) *NB(T) *[uA(T)‑ uB(T)] (7)其中,T表示分割阈值;
NA(T)、NB(T)表示分割阈值为T时对应的胶轮区域和非胶轮区域的像素个数;
uA(T)、uB(T)表示分割阈值为T时对应的胶轮区域和非胶轮区域的像素均值;
当O(T)取最大值时对应的分割阈值T,作为最佳分割阈值Tmax;
将最佳分割阈值Tmax代入到公式(8),将提取的滚轮图像中像素点灰度值大于Tmax的设为1,即为胶轮区,非胶轮区域的灰度值设为0,进行阈值分割;
当f(m,n)>Tmax时,g(m,n)=1,f(m,n) ≤Tmax时,g(m,n)=0 (8)其中,f(m,n)表示分割前的滚轮图像像素值,g(m,n)表示分割后的图像像素值;
经过阈值分割后胶轮图像的连通域最大,因此,将滚轮图像中其他较小的连通域像素值取0,以实现胶轮区域的提取,通过提取得到胶轮图像;
使用数字形态学对经过上述步骤提取得到的胶轮图像进行细化,去除胶轮图像中的边缘毛刺和孤立斑点,最终得到较为光滑的胶轮图像;
完整的胶轮图像生成模块,用于从胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘,并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓;
进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像;
先进行Canny边缘检测,从胶轮图像中提取出胶轮的边缘得到胶轮边缘图像;
使用最小二乘法圆拟合从胶轮边缘图像中分离出胶轮内圈边缘与外圈边缘;
具体步骤为:首先对胶轮边缘图像进行最小二乘法圆拟合;
其中,拟合出来的圆位于胶轮内圈边缘轮廓与外圈边缘轮廓之间,通过拟合的圆建立掩膜与胶轮边缘图像进行逻辑运算,即可将胶轮的内圈边缘和外圈边缘轮廓分割出来;
分别对胶轮内圈边缘以及外圈边缘图像进行亚像素点提取;
对提取的亚像素点进行3次B样条曲线拟合,弥补缺失的边缘部分,通过拟合得到胶轮的内圈边缘轮廓图和外圈边缘轮廓图;
进一步基于补全后的胶轮内圈边缘轮廓图和外圈边缘轮廓图得到完整的胶轮图像,该步骤具体为:在对胶轮边缘提取的亚像素点进行拟合时,设置三次B样条曲线方程的基函数为:
3 2 3 2 3 2
F0,3(t)=1/6(‑t+3t ‑t+1),F1,3(t)=1/6(3t ‑6t +4),F2,3(t)=1/6(‑3t+3t +3t+1),
3
F2,3(t)= 1/6 t(9)
其中,t为参数,t∈(0,1),Fs,3(t)表示第s个3次B样条基函数,s =0,1,2,3;
基于公式(9)中的基函数,得到三次B样条曲线方程,如公式(10)所示:P(t)=P0F0,3(t)+ P1F1,3(t)+ P2F2,3(t)+ P3F3,3(t) (10)式中,Ps为控制曲线的特征点,s=0,1,2,3,P(t)表示三次B样条曲线方程;
对拟合补全的外圈边缘轮廓图与内圈边缘轮廓图分别进行连通域填充,将填充后的外圈边缘轮廓图减去填充后的内圈边缘轮廓图得到胶轮掩膜;
将胶轮掩膜与所述滚轮图像进行逻辑与运算得到完整的胶轮图像;
以及胶轮磨损判断模块,用于在完整的胶轮图像中以胶轮内圈圆心为坐标原点向外发射多条射线,通过抽样测量获得胶轮的多个厚度值,通过计算得到厚度的平均值;
然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况,进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态;
在完整的胶轮图像中以胶轮内圈的圆心为中心,向该完整的胶轮图像所在平面内360度范围内均匀发射多条射线,分别求取各条射线与外圈的交点到中心的距离值;
将以上各个距离值分别减去胶轮内圈的半径值得到胶轮的多个厚度值;将各个厚度值取平均得到厚度的平均值;将该厚度的平均值与预设胶轮磨损阈值进行比较:若厚度的平均值小于胶轮磨损阈值,则胶轮磨损严重,此时表明滚轮罐耳的运行状态不良;否则认为胶轮磨损在正常范围,此时表明滚轮罐耳的运行状态良好。
4.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,实现如权利要求1至2任一项所述的基于机器视觉的滚轮罐耳运行状态检测方法。
5.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,实现如权利要求1至2任一项所述的基于机器视觉的滚轮罐耳运行状态检测方法。