1.一种基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述全方位三维建模系统包括全方位视觉传感器、用于产生三维体结构投射光源的移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器,所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上;
所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩;所述的双曲面镜面固定在所述的上盖的下方,所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体,所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起,所述的摄像单元固定在所述的摄像单元固定座上,所述的摄像单元固定座固定在所述的下固定座上,所述的全方位视觉传感器中的所述的摄像单元的输出与所述微处理器连接;
所述的移动面激光光源包括绿光线激光发生单元、绿光线激光发生组合单元、直线电机组件、导向支撑杆、直线电机固定支架、底盘、红光线激光发生单元和红光线激光发生组合单元;所述的绿光线激光发生单元分别固定在所述的绿光线激光发生组合单元的四个孔中,经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源;所述的红光线激光发生单元分别固定在所述的红光线激光发生组合单元的四个孔中,经过这样组合后的线激光能形成一个发出红光的全方位面激光光源;组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在所述的直线电机组件中齿条的两端;所述的导向支撑杆垂直固定在所述的底盘上,所述的直线电机固定支架垂直固定在所述的底盘上;然后将所述的移动面激光光源的核心组件中的所述的绿光线激光发生组合单元和所述的红光线激光发生组合单元对准所述的导向支撑杆插入,将所述的移动面激光光源的核心组件中的所述的直线电机组件中的电机基座固定在所述的直线电机固定支架上;经过上述装配,所述的直线电机组件中的齿条上下运动会带动组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分上下运动,以此产生扫描式的面激光光源;
所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆上,构成一个主动式全方位视觉传感器;
所述微处理器包括:
视频图像读取模块,用于读取全方位视觉传感器的视频图像,并保存在存储单元中,其输出与全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接;
全方位视觉传感器标定模块,用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数,标定后的参数存放在所述的存储单元中;
Bird-View变换模块,用于读取存放在所述的存储单元中的全方位视觉传感器的标定参数值,通过Bird-View变换来修正全方位视觉成像后严重扭曲变形,将全方位图像变换为Bird-View视图,Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像,变换后得到的Bird-View视图存放在所述的存储单元中,以便后续处理中调用;
全方位面激光信息解析模块,用于在全景图像上解析出激光投影信息,产生点云信息;
联合标定模块,用于对所述的主动式全方位视觉传感器进行标定;由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差,通过联合标定能降低这些误差的影响,提高检测精度;
移动面激光光源的直线电机的位置估计模块,用于估算所述的移动面激光光源的当前位置,为移动面的点云几何信息的计算模块提供数据;
移动面的点云几何信息的计算模块,用于对所述的移动面激光光源的直线电机的位置的估计值以及在全景图像上解析出激光投影信息的相关像素坐标值计算移动面的点云几何信息;
点云的几何信息和颜色信息的融合模块,对每个点云用(R,α,β,r,g,b)来表达其几何信息和颜色信息,其中,R为点云到全方位视觉传感器观测点Om的距离,α为点云到全方位视觉传感器观测点Om的入射角,β为点云到全方位视觉传感器观测点Om的方位角,r为点云的RGB颜色空间的R颜色分量,g为点云的RGB颜色空间的G颜色分量,b为点云的RGB颜色空间的B颜色分量;
以移动面的位置信息构建全景3D模型构建模块,用于逐步构建全景3D模型;所述的移动面激光光源完成一次垂直方向的扫描过程,即从一个极限位置到另一个极限位置就完成了全景3D模型的构建,扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据,将这些数据以所述的移动面激光光源的高度值作为保存索引,这样就能按切片点云数据产生顺序进行累加,最终构建出带有几何信息和颜色信息的全景3D模型;从上极限位置到下极限位置重构过程为向下全景3D重构模式,从下极限位置到上极限位置重构过程为向上全景3D重构模式,是两种不同模式;
3D全景模型生成模块,用于输出重构结果并为下一次重构做准备。
2.如权利要求1所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的全方位视觉传感器标定模块中,建立一个成像平面的像点与入射光线之间的联系,即与入射角之间的对应关系,用公式(6)表示;
式中,α表示点云P到观测点Om的入射角,||u″||为传感器平面点到该平面中心点的距离,a0、a1、a2、…、aN为标定的全方位视觉传感器的内外参数,通过公式(6)建立一张成像平面任一像素点与入射角之间的对应关系表,表1为使用的一种ODVS,即观测点全方位视觉传感器的标定结果,表1ODVS的标定结果
表1中的A为从传感器平面到图像平面仿射变换的单位矩阵,t为从传感器平面到图像平面仿射变换的零矩阵,其仿射变换的计算方法如公式(2)所示;
u′′=Au′+t (2)
式中,A∈R2×2,t∈R2×1。
对于采用的全方位视觉传感器进行标定后,成像平面上的点||u″||与点云P到观测点Om的的入射角α关系可以用下面等式来表示;
3.如权利要求2所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的Bird-View变换模块中,Bird-View变换看成全方位视觉传感器成像过程的一种逆变换,因此利用公式(6)标定的结果进行Bird-View变换,通过该标定结果将全方位图像转换成Bird-View图像,其中点云P到观测点观测点Om在水平地面上的投影点之间的距离R用公式(7)进行计算,式中,R为点云P到观测点Om在水平地面上的投影点之间的距离,h为点云P到观测点Om的在垂直面上的投影点之间的距离,α为点云P到观测点Om的入射角,β为点云P到观测点Om的方位角。
4.如权利要求3所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的全方位面激光信息解析模块中,解析在全景图上绿色激光和红色激光投射点的方法是根据绿色激光和红色激光投射点的像素的亮度要大于成像平面上的平均亮度,首先是将全景图的RGB颜色空间转化成HIS颜色空间,然后将成像平面上的平均亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值,在提取出绿色激光和红色激光投射点后需要进一步区分绿色激光和红色激光投射点,根据HIS颜色空间中的色调值H进行判断,如果色调值H在(0,30)之间就判断为红色激光投射点,如果色调值H在(105,135)之间就判断为绿色激光投射点,其余像素点就判断为干扰;采用高斯近似方法来抽取出激光投射线的中心位置,具体实现算法是:Step1:设置初始方位角β=0;
Step2:在全景图像上以方位角β从全景图像的中心点开始检索红色和绿色激光投射点,对于方位角β上存在着若干个连续的红色激光投射的像素,选择HIS颜色空间中的I分量,即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置;具体计算方法由公式(8)给出,式中,f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值,d为修正值,i表示从图像中心点开始的第i个像素点;因此估算得到的红色激光投射线的中心位置为(i+d),该值对应于公式(6)和公式(7)中的||u″||,即||u″||(β)red=i+d;对于绿色激光投射点的估算方法类同,得到||u″||(β)green;
Step3:改变方位角继续检索激光投射点,即β←β+Δβ,Δβ=0.36;
Step4:判断方位角β=360,如果成立,检索结束;反之转到Step2。
5.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统,
其特征在于:所述以移动面的位置信息构建全景3D模型构建模块中,三维重构的处理流程是:
StepA:通过视频图像读取模块读取全景视频图像;
StepB:根据直线电机的移动速度以及到达两个极限点的时间估计移动面激光光源的直线电机的位置;
StepC:在全景图像上解析出全方位面激光信息,计算移动面点云几何信息;
StepD:从内存中读取无激光投射情况下的全景视频图像,根据StepC中处理结果将移动面几何信息和颜色信息进行融合;
StepE:逐步构建全景3D模型;
StepF:判断是否已经到达极限点位置,如果是的话转到StepG,不成立的话转到
StepA;
StepG:设置所述的移动面激光光源为OFF,读取无激光投射情况下的全景视频图像,并将其保存在内存单元中,输出3D全景模型并保存到存储单元,设置所述的移动面激光光源为ON,转到StepA。
6.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的移动面激光光源的直线电机的位置估计模块中,规定在重构开始时将移动面激光光源的初始位置定在上极限位置hup lim it,初始步长控制值zmove(j)=0,相邻两帧时间移动面激光光源的移动步长为Δz,即存在着以下关系,zmove(j+1)=zmove(j)+Δz (9)
式中,zmove(j)为第j帧时步长控制值,zmove(j+1)为第j+1帧时步长控制值,Δz为移动面激光光源的移动步长,这里规定从上极限位置hup lim it向下方向移动时,Δz=1mm;从下极限位置hdown lim it向上方向移动时,Δz=-1mm;程序实现时通过以下关系式进行判断,根据设计红色全方位面激光和绿色全方位面激光之间距离满足以下关系,hredlazer(zmove(j))=500+hgreenlazer(zmove(j)) (11)式中,zmove(j)为第j帧时步长控制值,在红色全方位面激光处于上极限位置hup lim it时,zmove(j)=0;当绿色全方位面激光处于下极限位置hdown lim it时,zmove(j)=hLaserMD;上下极限位置存在着以下关系,hdown lim it=500+hLaserMD+hup lim it (12)
。
7.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的移动面的点云几何信息的计算模块中,点云的空间位置信息用高斯坐标系来表示,每一个点云的空间坐标相对于全方位视觉传感器的观测点Om为高斯坐标原点的高斯坐标用3个值来确定,即(R,α,β),R为某一个点云到全方位视觉传感器的观测点Om的距离,α为某一个点云到全方位视觉传感器的观测点Om的入射角,β为某一个点云到全方位视觉传感器的观测点Om的方位角,对于点云 点,其计算方法由公式(13)给出,
式中,zmove(j)为第j帧时步长控制值,||u″||(β)red为点云 点对应于成像平面上的点到该平面中心点的距离,hredlazer(zmove(j))为点云 点到全方位视觉传感器的观测点Om之间在Z轴的投影距离,由公式(11)计算得到,αb(zmove(j))为点云 点到全方位视觉传感器的观测点Om的入射角,Rb(zmove(j))为点云 到全方位视觉传感器的观测点Om的距离;
对于点云 点,其计算方法由公式(15)给出,
式中,zmove(j)为第j帧时步长控制值,||u″||(β)green为点云 点对应于成像平面上的点到该平面中心点的距离,hgreenlazer(zmove(j))为点云 点到全方位视觉传感器的观测点Om之间在Z轴的投影距离,由公式(11)计算得到,αa为点云 点到全方位视觉传感器的观测点Om的入射角,Ra为点云 到全方位视觉传感器的观测点Om的距离。
8.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的点云的几何信息和颜色信息的融合模块中,为融合过程如下,Step①:设置初始方位角β=0;
Step②:根据方位角β和在传感器平面上与点云数据相对应的||u″||(β)red和
||u″||(β)green两个点的信息,读取无激光投射情况下的全景视频图上的相关像素点的(r,g,b)颜色数据,与从所述的StepC中处理加工得到的相对应的(R,α,β)进行融合,得到相对应的点云几何信息和颜色信息(R,α,β,r,g,b);
Step③:β←β+Δβ,Δβ=0.36,判断β=360是否成立,如果成立结束计算,将计算结果保存在存储单元中;否则转到Step②。
9.如权利要求1~4之一所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:所述的移动面的点云几何信息的计算模块中,点云 点空间位置信息用笛卡尔坐标系 来表示,其计算方法由公式(14)给出,式中,zmove(j)为第j帧时步长控制值,||u″||(β)red为点云 点对应于成像平面上的点到该平面中心点的距离,hredlazer(zmove(j))为点云 点到全方位视觉传感器的观测点Om之间在Z轴的投影距离,由公式(11)计算得到,β为点云 点到全方位视觉传感器的观测点Om的方位角;
点云 点空间位置信息用笛卡尔坐标系 来表示,其计算方法由公式
(16)给出,
式中,zmove(j)为第j帧时步长控制值,||u″||(β)green为点云 点对应于成像平面上的点到该平面中心点的距离,hgreenlazer(zmove(j))为点云 点到全方位视觉传感器的观测点Om之间在Z轴的投影距离,由公式(11)计算得到,β为点云 点到全方位视觉传感器的观测点Om的方位角。
10.如权利要求5所述的基于主动全景视觉传感器的全方位三维建模系统,其特征在于:在所述的StepC计算过程中遍历了全方位360°的红色和绿色全方位面激光投射所产生的点云数据;这里采用计算步长为Δβ=0.36来遍历整个360°的方位角,遍历算法如下,StepⅠ:设置初始方位角β=0;
StepⅡ:采用所述的全方位面激光信息解析模块,沿射线方向检索点云 和点云
得到在传感器平面上与点云数据相对应的||u″||(β)red和||u″||(β)green两个点,用公式(13)计算点云 的距离值Rb和入射角αb,用公式(15)计算点云 的距离值Ra和入射角αa;或者用公式(14)和公式(16)得到 和 将上述的计算数据保存在内存单元中;
StepⅢ:β←β+Δβ,Δβ=0.36,判断β=360是否成立,如果成立结束计算,否则转到StepⅡ。