欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018109132733
申请人: 浙江农林大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度提取模型的多株立木胸径被动测量方法,其特征在于包括如下步骤:步骤一:对手机相机进行标定,获取相机内部参数和图像分辨率

采用张正友标定法,并引入改进的带有非线性畸变项的标定模型对相机内部参数进行校正首先设定像平面上每个像素的物理尺寸大小为dx*dy(单位:mm),图像坐标系(x,y)原点在像素坐标系(u,v)中的坐标为(u0,v0),(x,y)是实际图像中像点归一化的坐标,图像中任意像素在两个坐标系中满足如下关系:相机坐标系中任一点Pc(Xc,Yc,Zc)投影到图像坐标系上为(xc,yc,f),图像坐标系平面与光轴z轴垂直,与原点距离为f,根据相似三角形原理可以得出:引入所述改进的带有非线性畸变项的标定模型,包括由于镜头形状缺陷造成的径向畸变和由于光学系统存在不同程度的偏心造成的切向畸变,径向畸变数学模型为:其中r2=x2+y2,(x’,y’)为矫正后不含畸变项的理想线性相机坐标系的归一化坐标值,径向畸变值与图像点在图像中的位置有关,图像边缘处的径向畸变值较大,切向畸变数学模型为:

其中包含k1、k2、k3、p1、p2共5个非线性畸变系数,由公式(3)、(4)得畸变矫正函数模型如下:从世界坐标变换到相机坐标转换存在如下关系:

Pc=R·(PW-C)=R·PW+T  (6)

结合式(1)~(6),用齐次坐标与矩阵形式可表示为:

Mint、Mext分别是相机标定内、外参数矩阵,其中相机内部参数包括图像中心点像素值u0、v0,fx、fy为x轴和y轴上的归一化焦距、通过Java结合OpenCV实现手机相机标定,获取手机相机所述的内部参数、相机镜头畸变参数和图像分辨率vmax、umax;

步骤二:建立深度提取模型

根据目标物成像角度α与纵坐标像素值v之间的线性关系设定抽象函数,建立含目标物成像角度α、纵坐标像素值v和相机旋转角β三个参数空间关系模型,即α=F(v,β),不同型号的设备和相机旋转角度下,被拍摄物体纵坐标像素值与成像角度均呈极显著负线性相关关系,且该线性关系的斜率与截距有所不同,故设:α=F(v,β)=a·v+b  (8)

其中参数a、b均与相机型号和相机旋转角度有关,

当α取最小值α=αmin=90-θ-β时,θ为相机垂直视场角的一半,即被拍摄物体投影到图片最底端时,v=vmax(vmax为相机CMOS或CCD图像传感器列坐标有效像素数),代入式(8)可得:

90-β-θ=a·vmax+b  (9)

当αmin+2θ>90°,即θ>β时,此时相机上视角高于水平线,地平面无限远处,α无限接近于90°,此时v无限趋近于v0-tanβ*fy,fy为像素单位下相机的焦距,β为负值即相机逆时针旋转时亦同理,因此,代入式(8)可得:

90=a·(v0-tanβ·fy)+b  (10)

当αmin+2θ<90°,即θ<β时,此时相机上视角低于水平线,地平面无限远处目标物成像角度α取最大值,αmax=αmin+2θ=90-β+θ时,即被拍摄物体投影到图片最高点时,v=0,代入式(8)可得:

90-β+θ=b  (11)

根据针孔相机构造原理,一半的相机垂直视场角θ的正切值等于相机CMOS或CCD图像传感器边长的一半除以相机焦距,故可以计算出θ:公式(12)中LCMOS为相机CMOS或CCD图像传感器的边长,结合式(9)~(12),F(α,β)为:公式(13)中δ为相机非线性畸变项误差,结合手机相机拍摄高度h,根据三角函数原理构建手机相机深度提取模型:步骤三:采集并处理待测立木图像,计算摄影测量坐标系下立木深度值

在立木图像采集步骤中,还包括对待测立木图像的非线性畸变校正和预处理,即:通过手机相机进行图像采集,建立投影几何模型,其中f为相机焦距,θ为相机垂直视场角的一半,h为相机拍照高度,β为相机沿相机坐标系ox轴的旋转角,相机顺时针旋转β值为正,逆时针为负,β值通过相机内部重力传感器获取,α为目标物成像角度,γ为目标立木所在平面的坡度;

结合步骤一相机标定获取的相机镜头畸变参数,对图像存在的径向畸变和切向畸变误差进行非线性畸变矫正;将矫正后的理想线性归一化坐标值(x,y)代入公式(1),求算出矫正后图像各点像素坐标值,通过双线性内插的方法对矫正后像素值进行插值处理从而得到矫正后图像;

将矫正后的图像RGB空间转换到Lab颜色空间,对于每个颜色通道L、a、b,计算各个像素点与整幅图像的平均色差并取平方,然后将这三个通道的值相加作为该像素的显著性值得到三个通道的均值图像,同时,将传统的基于频率调谐的视觉显著性中对图像的高斯滤波处理改为双边滤波处理,弥补该算法进行立木显著性表达时树干纹理所带来的影响,取三个通道的均值图像和滤波图像的欧氏距离并求和,得到图像的频率调谐视觉显著图,另外,将HSV颜色空间中S分量融合到频率调谐视觉显著图中,以增强图像显著性,对显著图进一步进行二值化处理后利用形态学膨胀和腐蚀组合运算达到连接邻近物体和平滑边界的作用,最后对立木树干轮廓进行边缘检测,得到目标立木轮廓提取结果,进而计算目标立木与地面接触的边缘的几何中心点纵坐标像素值v;

根据图像中立木树干的几何特征构建立木胸径测量坐标系统

立木胸径测量坐标系统包括5组坐标系,分别是像平面坐标系、像素坐标系、像空间坐标系、摄影测量坐标系、物方空间坐标系,立木胸径测量坐标系统均属于右手坐标系,其中像平面坐标系、像素坐标系、像空间坐标系为图像中所有待测立木共同使用的坐标系,此外,本文还根据待测立木特征为每株立木建立其特属的摄影测量坐标系与物方空间坐标系;

以图像平面的左上角或左下角为原点建立像素坐标系o’-uv;像平面坐标系原点位于图像左上角o’,水平向右为u轴,垂直向下为v轴,各坐标轴均以像素为单位;以图像平面与光轴的交点o为原点建立像平面坐标系o-xy,水平向右为x轴,垂直向下为y轴,其单位为物理尺寸,原点o一般位于图像中心处,o在以像素为单位的图像坐标系中的坐标为(u0,v0);像平面坐标系和像素坐标系属于同一个平面上原点不同的两个坐标系;以相机中心点为坐标原点建立像空间坐标系S-XcYcZc,图像平面与光轴Zc轴垂直,和投影中心距离为f;将像空间坐标系点映射到投影平面上的过程为投影变换;另外,本文还为图像中N株待测量立木定义N组摄影测量坐标系Di-UiViWi和物方空间坐标系Ti-XiYiZi(i≤N),第i株立木对应的摄影测量坐标系原点Di位于该立木底部几何中心点,Vi轴竖直向上垂直于水平地面,Ui轴沿立木成像面方向水平向右平行于像平面,摄影测量坐标系沿立木树干方向平移1.3m后,旋转一定的角度可得到该株立木的物方空间坐标系,物方空间坐标系Yi轴沿立木树干方向竖直向上;

根据公式(14)深度提取模型计算出摄影测量坐标系下的立木深度值;

步骤四:测量单幅图像中多株立木胸径值

在针孔相机模型中,根据步骤4中立木胸径测量坐标系统建立规则,研究成像点在不同坐标系中的转换关系,建立立木胸径测量模型,根据立木胸径的定义和立木图像信息,确定第i株立木物方空间坐标系到摄影测量坐标系的旋转矩阵 和平移矩阵 从而计算该立木物方空间坐标系原点在其对应的摄影测量坐标系中的坐标值(Ui0,Vi0,Wi0),

其中,平移矩阵 针对自然界中立木可能存在一定程度的倾斜角且

树干为圆柱体的特征,定义立木胸径测量物方空间坐标系与摄影测量坐标系之间的旋转关系为以Vi轴为主轴的 系统,即以Vi轴为主轴旋转0°,然后绕Ui轴旋转 角,最后绕Wi轴旋转Ψ角,因此旋转矩阵 可表示为:若待测立木中存在倾斜立木,为了方便测量,结合立木树干的几何属性,在进行图片采集时可令倾斜立木树干深度值保持不变,将 角与Ψ角合并为同一个角,即令摄影测量坐标系经平移和旋转到像空间坐标系是一种刚体运动,摄影测量坐标系分别沿U,V,W轴方向平移tU,tV,tW距离(单位:毫米)后,从摄影测量坐标系旋转到像空间坐标系,其旋转角元素为(κ,β,ω),旋转过程为以V轴为主轴旋转κ角度后,绕新的U轴旋转β角度,最后绕W轴旋转ω角度,第i株立木的摄影测量坐标系中的任意点(Ui,Vi,Wi)在像空间坐标系下坐标(Xi,Yi,Zi)为:式中,T表示由摄影测量坐标系到像空间坐标系的平移矩阵,R表示旋转矩阵:

[tU,tV,tW]为:

根据摄影测量坐标系统建立规则,摄影测量坐标系绕V轴旋转角度κ等于180°,且通过移动端相机进行图片采集时绕W轴旋转角度ω通常约等于0°,即进行图片采集时,手机竖直置于相机三脚架上,因此,结合公式(15)和公式(17)求算物方空间坐标系原点在像空间坐标系中的坐标值(Xi0,Yi0,Zi0):像空间坐标系中目标立木深度Z值为:

Z=-(1300·cosψ-h+D·tanγ)sinβ+D·cosβ  (21)立木胸径测量处在像空间坐标系中Y值为:

Y=(1300·cosψ-h+D·tanγ)cosβ+D·sinβ  (22)在立木胸径测量立体成像系统中,点A’、B’为沿树干方向距地面1.3m处树干在像平面上的投影点,其在像平面上的坐标值为A’(x1,y1,f)、B’(x2,y2,f),像点A’、B’在自然场景中的同名物点为A、B,AB所在的直线与图像平面平行,令点A在相机坐标系下的坐标为(X,Y,Z),点B的坐标为(X+Tx,Y,Z),线段CD过AB的中点垂直于立木树干,CD的距离即为立木胸径真实值;在针孔相机成像模型中,基于步骤三中相机镜头组畸变的矫正,图像中像点、相机光心和物点3点共线,则有:结合公式(1)、(20)~(23),像点A’、B’的纵坐标像素值vDBH可表示为:Y值相同且深度值Z相等的两点A’、B’的水平视差d可表示为:

其中,u1、u2分别是像点A’、B’的横坐标像素值,在已知相机内部参数的情况下,结合像空间坐标系中待测立木深度值Z,可计算点AB的距离Tx:因此,该株立木的胸径可表示为:

DBH=Tx·cosψ  (27)。