欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2011100693177
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全景计算机视觉的道路交通状态检测装置,其特征在于:包括安装在路网上各个道路上的各个测量点的摄像装置、用于根据摄像装置的视频数据进行评价道路交通状态的微处理器,所述的摄像装置通过所述的视频接口与所述的微处理器连接,传送单元将交通状态检测和计算结果通过所述的通信单元发送给信号灯控制单元和交通状态发布单元;所述的微处理器包括:全景图像获取单元,用于获取初始化信息和视频图像;

采样点、车道和车道行驶方向定制模块,用于定义道路上的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性;

道路拥堵状态检测模块,用于检测道路上某一个时刻某一个行驶方向的拥堵状态;

道路服务水平判定模块,用于判定当前道路的服务水平,将道路服务水平等级分为A、B、C、D、E、F等6个等级,判定过程的步骤如下:首先在所述的采样点、车道和车道行驶方向定制模块中得到某车道的采样点的总数S,在所述的存在采样点的检测模块中得到某车道上存在采样点的总数ES,通过公式(12)可以计算出非存在采样点与采样点的比例值Rate(NS/S)、移动存在采样点与采样点的比例值Rate(YS/S)和静止存在采样点与采样点的比例值Rate(SS/S);然后根据各计算比例值查表1所示的道路的服务水平等级综合判断表得到某车道相关的服务水平等级;

式中,S为某车道的采样点的总数,ES为某车道上存在采样点的总数,NS为某车道上非存在采样点的总数,YS为某车道上移动存在采样点的总数,SS为某车道上静止存在采样点的总数;

道路的服务水平等级综合判断表如表1所示;

表1。

2.如权利要求1所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述全景图像获取单元包括系统初始化模块和图像获取模块;

系统初始化模块,用于将数据指标信息、车道和采样点定制数据和检测点空间位置信息读入到动态存储单元中,以备后续处理过程中调用;

图像获取模块,用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中。

3.如权利要求1或2所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:在所述的道路服务水平判定模块中和所述的道路拥堵状态检测模块中,由道路服务水平与拥堵检测总体流程实现,首先是采样点、车道和车道行驶方向的定制步骤,由所述的采样点、车道和车道行驶方向定制模块来实现;接着是从tn时刻的图像中检测出存在采样点的检测步骤,由所述的存在采样点的检测模块来实现;下一步处理的是从tn时刻的前后序列图像中检测出移动采样点的检测步骤,由所述的移动存在采样点的检测模块来实现;再下一步处理的是根据检测出的存在采样点和检测出的移动采样点计算出各车道的拥堵采样点的检测步骤,由所述的静止存在采样点的检测模块来实现;接着的处理是根据检测出来的静止存在采样点的分布状态统计计算出各车道的拥堵区域的统计计算步骤,由所述的静止存在块的检测模块来实现;进一步是根据得到的静止存在块在各车道上的分布状态计算出tn时刻的各车道道路服务水平和拥堵长度的计算步骤,由所述的道路服务水平判定模块来实现;完成了上述拥堵检测和统计计算后将计算结果发送给传送单元以控制交通信息灯或者提供交通诱导信息的发送检测结果步骤;最后返回检测状态重复进行循环检测计算。

4.如权利要求1或2所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:所述的采样点、车道和车道行驶方向定制模块,采样点的命名方式采用四维数组S(i,j,k,l)来表示一个采样点,其中i为车道行驶方向属性参数值,j为车道方向变更属性参数值,k为在某车道纵向方向上的空间位置属性参数值,从摄像机的近处开始以增大顺序方式进行编号,离摄像机距离越远k值越大,将k≤N时作为近距离,N<k≤M时作为中距离,M<k时作为远距离;1为在某车道横向方向上的空间位置属性参数值,数据范围为0~4;对于采样点的行驶方向属性参数值i,规定背离道路开始端的行驶方向属性参数值i=1,向着道路开始端的行驶方向属性参数值i=2;对于车道方向变更属性参数值j,规定左转的车道方向变更属性参数值j=1,离左转的车道最近的直行车道的车道方向变更属性参数值j=2,如果还有直行车道的话就按顺序3、4代号编码,规定右转的车道方向变更属性参数值j=0;在定制好车道后接着定制检测采样点,相邻采样点之间的空间实际距离为0.5米,主要考虑到车辆是一个刚体,可以采用若干个连续相邻的采样点来表征车辆特征;具体做法是:采样点以车道方向自动生成,则在每个车道横向方向均匀生成多个采样点,纵向方向上从视频图像上的道路开始端到末端自动生成若干个采样点,生成好的每个采样点都用四维数组S(i,j,k,l)来表达,由于视觉的关系在成像图像上的采样点近处疏、远处密,但是各采样点的实际空间间隔距离都是相同的;定制好的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性的等信息保存在存储单元中;通过对成像平面上的像素点的定制,实现了成像平面上的采样点与实际道路上的采样点的映射关联,即建立了图像平面上的A(x,y)像素点与道路上的采样点S(i,j,k,l)的对应关系。

5.如权利要求1所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的道路拥堵状态检测模块包括存在采样点的检测模块、移动存在采样点的检测模块、静止存在采样点的检测模块、拥堵块的检测模块、道路服务水平检测模块和拥堵长度检测模块;道路拥堵状态检测模块的输出格式由以下6个参数值构成,分别为14位的时刻参数值、23位的检测空间位置参数值、1位的行驶方向属性参数值、1位的车道方向变更属性参数值、1位的道路服务水平参数值和3位的拥堵长度参数值;时刻参数用于表示检测时刻的时间信息,时刻参数Time用14位数据格式表示,为YYYYMMDDHHMMSS,其中1~4位YYYY表示公历的年、5~6位MM表示公历的月份、7~8位DD表示公历的日、9~10位HH表示小时、11~12位MM表示分、13~14位SS表示秒;检测空间位置参数用于表示检测点的空间位置信息,检测空间位置参数Location用23位数据格式表示;车道行驶方向属性参数用于表示车道的行驶方向信息,车道行驶方向属性参数Direction用1位数据格式表示,规定背离道路开始端的行驶方向属性参数值i=0,向着道路开始端的行驶方向属性参数值i=1;车道方向变更属性参数用于表示该车道允许前行的方向,车道方向变更属性参数Change用1位数据格式表示,规定左转的车道方向变更属性参数值j=1,离左转的车道最近的直行车道的车道方向变更属性参数值j=2,如果还有直行车道的话就按顺序3、4代号编码,规定右转的车道方向变更属性参数值j=0;道路服务水平参数用于表示道路的拥堵状态,道路服务水平参数ServiceLevel用1为字母格式表示,将道路服务水平等级分为A、B、C、D、E、F等6个等级,其中A表示道路服务水平等级最好,F表示道路服务水平等级最差;拥堵长度参数用于表示当车道发生拥堵情况时车道上车辆排队的长度,拥堵长度参数Length用3为数据格式表示,单位为米;这样道路拥堵状态检测模块输出的一条记录是由Time+Location+Direction+Change+ServiceLevel+Length等六个参数值构成,每条记录与检测的道路上的车道数成一一对应关系,一条记录的长度43位;如果全景视觉传感器监视的道路范围有8个车道,那么就有8条输出记录;

所述的空间位置参数Location包括绝对位置编码、用于表示离设定坐标中心点的相对位置的逻辑标注代码、用于对从道路的起点到终点的自然数编码、岔路信息编码;共23位编码如附图10所示,其中绝对位置编码为最前6位,第1位到第3位表示经度,第4位到第6位表示纬度;逻辑标注代码为第7位到17位,以城市的中心点将区域分为A、B、C、D 4个象限区,第7位表示道路的起点所在的象限区,用4位数字表示街道两端的x、y坐标,第

8位到第9位表示街道起点的x坐标,第10位到第11位表示街道起点的y坐标,第12位表示道路的终点所在的象限区,第13位到第14位表示街道终点的x坐标,第15位到第16位表示街道终点的y坐标;对于两条平行且两端x、y坐标相同的街道辅以小写字母顺序区别,用第17位数来表示;自然数编码为第18位到第22位,依照从南到北、从东到西由小到大编号,最小单位为1cm,左单右双延伸到底进行编排,对于只有单侧行人道的如果是在道路的左方采用单数编排,在道路的右方采用双数编排;岔路信息编码为第23位,岔路信息编码N表示前方不通,L表示右转禁止,R表示左转禁止;

所述的逻辑标注代码为11位,从第7位到第17位,用于表示离市中心的相对位置,其命名规则为:以市中心标志性位置为原点,东西向为x轴,南北向为y轴,将城市分为A、B、C、D 4个象限区,考虑到特大城市在区半径100km以内,用4位数字表示街道两端的x、y坐标,对于两条平行相距在1km范围内且两端x、y坐标相同的街道可辅以a、b、c.......顺序区别。

6.如权利要求5所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的存在采样点的检测模块,用于检测在道路上的前景对象点;所述的存在采样点的检测模块的检测计算流程Sa~Sh如下:

在Sa的计算步骤中,按照从全景视觉传感器在道路上的位置到各采样点所对应的道路上实际位置的距离来设定阈值TH1,阈值TH1是为了在后面对采样点的二值化处理时作为判断标准而设置的;

在Sb的计算步骤中,将tn时刻所获得的全景图像按采样点所对应的像素加工成采样点图像,在采样点图像上的采样点所对应的各像素的灰度值是以8位数据表示的;

在Sc的计算步骤中,计算基准灰度图像与所述的采样点图像之间的差值,得到两幅图像的差分图像;

在Sd的计算步骤中,进行基准灰度图像的背景建模,用公式(1)来不断更新tn时刻的基准灰度图像Bn得到t n+1时刻的基准灰度图像Bn+1: (1)Bn+1=Bn+φ×(Xn-Bn)

式中,Xn为t n时刻的采样图像中的各采样点的灰度值,Bn为t n时刻的基准灰度图像的各采样点的灰度值,Bn+1为t n+1时刻的基准灰度图像的各采样点的灰度值,φ为一数值很小的系数;

在计算时,首先计算道路上的各采样点的(Xn-Bn)值,然后在取其值的绝对值|Xn-Bn|,如果该绝对值|Xn-Bn|大于规定的阈值TH2同时该采样点的Bn值与该采样点最近的非存在采样点的灰度值的绝对值小于规定的阈值TH3,就判定为有前景对象进入到该采样点上,这时该采样点的更新就以与该采样点最近的非存在采样点的灰度值作为Bn+1;其余采样点的背景建模均按公式(1)进行更新处理;在Se和Sf计算步骤中,用在Sa步骤中所设定的各阈值TH进行二值化处理,得到存在采样点二值化图像Fn在二值化图像Fn中所有采样点将分为「0」或者「1」两种状态,「1」的表示该采样点上有前景对象存在,即存在采样点;「0」的表示该采样点上不存在前景对象,即非存在采样点;根据成像图像上的采样点与道路上的采样点的对应关系,将判定为非存在采样点的采样点S(i,j,k,l)的值设置为“25CB”,其对应的几何图形符为“○”。

7.如权利要求5所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的移动存在采样点的检测模块,用于检测在道路车道上的移动对象物的前景点;对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点,即得到差分图像,计算方法如公式(2)所示;

Z1n=Xn-Xnα (2)

式中,Xn为tn时刻的采样图像中的各采样点的灰度值,Xn-α为tn-α时刻的采样图像中的各采样点的灰度值,Z1n为差分图像,这里称为第一差分图像,它表示了经历了α时间后的道路上各采样点变化情况;在第一差分图像中包括了采样点的两种状态的变化情况,即从「1」到「0」或者从「0」到「1」的变化,要确认是否是移动存在采样点,还需要观测tn和tn+β时刻的采样图像中的各采样点的灰度的变化情况,即得到第二差分图像,计算方法如公式(3)所示;

Z2n=Xn-Xn+β (3)

式中,Xn为tn时刻的采样图像中的各采样点的灰度值,Xn+β为tn+β时刻的采样图像中的各采样点的灰度值,Z2n为差分图像,这里称为第二差分图像,它表示了经历了β时间后的道路上各采样点变化情况;

接着,分别用阈值TH1对第一差分图像Z1n和用阈值TH2对第二差分图像Z2n进行处理,分别得到第一特征提取图像T1n和第二特征提取图像T2n;移动存在采样点必定存在于第一特征提取图像T1n和第二特征提取图像T2n之中,因此对第一特征提取图像T1n和第二特征提取图像T2n进行与运算求得图像中的移动存在采样点,计算公式如(4)所示;

Yn=T1n∧T2n (4)

式中,T1n为第一特征提取图像,T2n为第二特征提取图像,Yn为包含有移动采样点的二值图像;

考虑到摄像机与车辆位置的关系,位于摄像机近处的车辆从成像图像上看反映的速度快些,反之,速度慢些;因此,在求差分图像时需要根据道路与摄像机的距离的影响以消除成像图像上远近车辆的影响;本实施例中在成像图像上将道路划分成近距离,即k≤N时、中距离,即N<k≤M和远距离,即M<k;因此可以将求第一差分图像公式(2)改写为分近中远距离分别求第一差分图像公式组(5);

Z1’nN=X’n-X’n-α1L(k≤N)

Z1’nM=X”n-X”n-α2L(N<k≤M) (5)

Z1’nL=X”’n-X”’n-α3L(M<k)

式中,X’n为tn时刻的采样图像中的近距离各采样点的灰度值,X’n-α1为tn-α1时刻的采样图像中的近距离各采样点的灰度值,Z1’nN为近距离第一差分图像;X”n为tn时刻的采样图像中的中距离各采样点的灰度值,X”n-α2为tn-α2时刻的采样图像中的中距离各采样点的灰度值,Z1”nM为中距离第一差分图像;X”’n为tn时刻的采样图像中的远距离各采样点的灰度值,X”’n-α3为tn-α3时刻的采样图像中的远距离各采样点的灰度值,Z1”’nL为远距离第一差分图像;公式(5)中α1<α2<α3,并且都为正整数,取值大小取决于道路的设计速度以及视频图像的采集速率;

分别用阈值TH1N对近距离第一差分图像Z1’nN、用阈值TH1M对中距离第一差分图像Z1’nM、用阈值TH1L对远距离第一差分图像Z1’nL进行处理,得到近距离第一特征提取图像T1’nN、中距离第一特征提取图像T1’nM和远距离第一特征提取图像T1’nL;各阈值存在着TH1L<TH1M<TH1N关系;

用公式(6)对近距离第一特征提取图像T1’nN、中距离第一特征提取图像T1’nM和远距离第一特征提取图像T1’nL进行或运算,得到第一特征提取图像T1’n;

T1’n=T1’nN∨T1’nM∨T1’nL (6)

式中,T1’n为第一特征提取图像,T1’nN为近距离第一特征提取图像,T1’nM为中距离第一特征提取图像,T1’nL为远距离第一特征提取图像;

对于第二特征提取图像的计算方式,采用与第一特征提取图像的相同的计算方式,用公式(7)分近中远距离分别求第二差分图像公式组;

Z2’nN=X’n-X’n+β1L(k≤N)

Z2’nM=X”n-X”n+β2L(N<k≤M)

Z2’nL=X”’n-X”’n+β3L(M<k)

式中,X’n为tn时刻的采样图像中的近距离各采样点的灰度值,X’n+β1为tn+β1时刻的采样图像中的近距离各采样点的灰度值,Z2’nN为近距离第一差分图像;X”n为tn时刻的采样图像中的中距离各采样点的灰度值,X”n+β2为tn+β2时刻的采样图像中的中距离各采样点的灰度值,Z2”nM为中距离第一差分图像;X”’n为tn时刻的采样图像中的远距离各采样点的灰度值,X”’n+β3为tn+β3时刻的采样图像中的远距离各采样点的灰度值,Z2”’nL为远距离第一差分图像;公式(7)中β1<β2<β3,,并且都为正整数,取值大小取决于道路的设计速度以及视频图像的采集速率,一般来说可以设置为,β1=α1<β2=α2<β3=α3;

分别用阈值TH2N对近距离第一差分图像Z2’nN、用阈值TH2M对中距离第一差分图像Z2’nM、用阈值TH2L对远距离第一差分图像Z2’nL进行处理,得到近距离第一特征提取图像T2’nN、中距离第一特征提取图像T2’nM和远距离第一特征提取图像T2’nL;各阈值存在着TH2L<TH2M<TH2N关系;

用公式(8)对近距离第一特征提取图像T2’nN、中距离第一特征提取图像T2’nM和远距离第一特征提取图像T2’nL进行或运算,得到第一特征提取图像T2’n;

T2’n=T2’nN∨T2’nM∨T2’nL (8)

式中,T2’n为第二特征提取图像,T2’nN为近距离第二特征提取图像,T2’nM为中距离第二特征提取图像,T2’nL为远距离第二特征提取图像;

对第一特征提取图像T1’n和第二特征提取图像T2’n进行与运算求得图像中的移动存在采样点,计算公式如(9)所示;

(9)

Yn=T1’n∧T2’n

式中,T1’n为第一特征提取图像,T2’n为第二特征提取图像,Yn为包含有移动采样点的二值图像;对于判定为移动存在采样点的采样点S(i,j,k,l)的值设置为“2642”,其对应的几何图形符为“♂”。

8.如权利要求5所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的静止存在采样点的检测模块,用于检测道路上静止前景对象的信息特征点;根据常识,当道路发生拥堵时整个道路上都挤满了车辆,道路上的这些车辆都处于相对静止状态,这时处于相对静止状态的车辆将以相对集中的多个静止存在采样点的方式表现出来;

存在采样点二值化图像Fn中包含着移动存在采样点的二值图像Yn和静止存在采样点的二值图像Sn,因此通过公式(10)计算出静止存在采样点的二值图像Sn;

(10)

Sn=Fn-Yn

式中,Sn为静止存在采样点二值图像,Fn为存在采样点二值图像,Yn为移动采样点二值图像;对于判定为移动存在采样点的采样点S(i,j,k,l)的值设置为“25CF”,其对应的几何图形符为“●”;拥堵发生的区域就是静止存在采样点“●”比较密集的区域,因此,统计和计算静止存在采样点的密集程度和密集区域的范围大小就能比较准确地估算出道路的拥堵状态。

9.如权利要求5所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的静止存在块的检测模块,用于估算道路行车线上的拥堵长度以及过滤掉道路上的干扰,所述干扰会导致非存在采样点误判为静止存在采样点,由于静止的车辆是由若干个相邻的静止存在采样点构成的,将孤立的静止存在采样点通过过滤算法来消除所述干扰,具体算法是先读取车道上横向方向的静止存在采样点的S(i,j,k,l)数组值,如果与静止存在采样点相邻的像素值为「0」,则将该静止存在采样点改变为非存在采样点,其相邻的两个采样点S的数组值是(i,j,k,l-1)和(i,j,k,l+1);同样,对于某些非存在采样点误判为静止存在采样点的情况,采用误判修正算法来消除误判,具体算法是先读取车道上横向方向的非存在采样点的S(i,j,k,l)数组值,如果与该非存在采样点相邻的像素值为「1」,则将该非存在采样点改变为静止存在采样点,其相邻的两个采样点S的数组值是(i,j,k,l-1)和(i,j,k,l+1);通过上述误判修正算法能消除车辆某些部位的前景灰度值与道路地面灰度值相近而造成的误判;

在消除了干扰和修正误判后,接着进行静止存在块的检测,约定非存在采样点S(i,j,k,l)值的Unicode代码为“25CB”,几何图形符为“○”;移动存在采样点S(i,j,k,l)值的Unicode代码为“2642”,几何图形符为“♂”;静止存在采样点S(i,j,k,l)值的Unicode代码为“25CF”,几何图形符为“●”;检测静止存在块的方式是在成像平面上以每条行车线的开始端到末尾端进行检测的,在静止存在块的检测模块中,采用道路上的轿车大小作为匹配检测模版对静止存在块进行匹配检测,通过统计计算采样点的模版中有多少静止存在采样点的情况进行判断的,如果匹配模版中有50%以上的静止存在采样点,判定为该区域为静止存在块;当某一车道同一个横向方向l检测结束后,如果在上述匹配检测中存在着一个和一个以上的存在块满足匹配检测模版情况时,k=k+5;否则k=k+1;接着继续进行匹配检测直至到某一车道上的末端位置;接着进行下一个车道的匹配检测,循环上述匹配检测过程;再接着进行下一个行驶方向的匹配检测,循环上述匹配检测过程;当遍历了所有行驶方向和所有车道的静止存在块的匹配检测后,得到某行驶方向i上的某车道j的静止存在块匹配的最大k值,通过该数字大小来计算该行驶方向上的车道拥堵的长度。

10.如权利要求1所述的基于全景计算机视觉的道路交通状态检测装置,其特征在于:

所述的摄像装置采用全景视觉传感器,用于获取道路上大面积的视频图像数据,全景视觉传感器由两片成夹角的镜面以及镜头正朝着镜面的摄像机所构成;两片镜面之间的夹角为

180°-2γ,两片镜面在正视图上的宽度值为W、在侧视图上的高度值为R,两片镜面的宽度值W和高度值R位于摄像机的成像范围内;在侧视图上,所述摄像机的中心轴与所述立杆的中心轴成η角度,镜面与道路侧的水平面方向成ε角度;在正视图上,镜面与所述立杆的角度为90°-γ,摄像机的中心轴与立杆的中心轴平行,摄像机的焦距为f;

全景视觉传感器的安装高度为H,路面沿道路方向的视觉范围为L,两片镜面之间的夹角180°-2γ,公式(11)为H、L值与γ的关系,式中,γ表示镜面与水平面的夹角,L为全景视觉传感器的沿水平面方向道路上的视觉长度,H为全景视觉传感器的安装高度, 为摄像机的最大视角;

所述摄像机的最大视角 为45°,全景视觉传感器的安装高度H为5米,全景视觉传感器的沿道路方向上的视觉长度L大于200米,通过公式(11)求得镜面与水平面的夹角γ为32°,镜面的长度大于W/2×cos(γ),每片镜面的宽度大于R/cos(ε-η),ε为镜面与道路侧的水平面方向的夹角,η为摄像机中心轴与立杆中心轴之间的夹角;立杆设置在一个信号灯变化时间内所通过车辆占据道路的长度处。