1.灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,一是硬件上包括RK3288影像处理单元、影像采集单元、报警显示单元及控制单元CAN信号部分,通过驾驶室内上方的CCD摄像头获取驾驶过程的实时路况,其获取的路况影像经过RK3288影像处理单元进行处理,根据识别出的车道线信息判断是否需要向报警单元发出报警信号,告知司机注意发生车道偏离;二是软件算法上分为两大部分,即影像W‑r扩展动态评估的极速车道线识别算法和车道偏移实时预警方法:第一,影像W‑r扩展动态评估的极速车道线识别算法采用行扫描进行边缘点的提取,并将边缘点归分为两类进行自定义参数打分获取直线,根据车道线模型获取候选的车道线,采用影像W‑r扩展动态评估对道路参数实现估算和更新,采用帧间信息增强系统稳定性和鲁棒性,最后采用影像W‑r扩展动态评估输出的参数进行最终边缘点的提取,算法在不进行逆透视变换的情况下进行车道线的检测,采用影像W‑r扩展动态评估对建立的车道参数模型进行参数估算,在运算能力较弱的ARM平台上实现车道线的实时检测;采用车道颜色信息区分黄白车道线,采用边缘点间距区分虚实车道线;具体包括:车道线极速检测算法架构、边缘点提取、建立评判打分规则、获取车道线检测核验值、影像W‑r扩展动态评估参数估算跟踪、车道边缘灵敏提取;
第二,车道偏移实时预警方法将基于机动车和车道线的相对距离预警策略和基于车道线斜率的预警策略融合,在横向速度比较低的情况下,采用基于机动车和车道线的相对距离预警;横向速度比较大的情况下,采用基于车道线偏移率的策略预警,避免采用车道模型需要获取的各类复杂参数,在工程上大幅增强适用范围;具体包括:基于机动车和车道相对距离的预警策略、基于车道偏移率灵敏预警策略。
2.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,提出一种快捷的车道线特征优化建模方法,结合道路特征采用影像W‑r扩展动态评估进行估算和校正,快速的检测出复杂路况车道信息,去除透视变换计算模块,采用简化的几何Vight检测直线为基础,结合边缘点烈度和车道边缘平行关系特征选取可信度高的车道线,采用影像W‑r扩展动态评估对角度、偏移量、边缘平均烈度及自定义弯曲度进行参数估算。
3.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,车道线极速检测算法架构主要分为七个步骤:步骤一,车载影像获取:从驾驶室上方的摄像头获取道路影像;
步骤二,近域影像增强:增强边缘点突变程度;
步骤三,边缘点获取:采用行扫描的方式获取边缘点,将边缘点分为四类,分别是影像左边和右边的极大、极小值;
步骤四,评判打分规则的建立:将两类边缘点根据自定义的参数分布进行建表,根据打分获取候选的车道线;
步骤五,车道线和边缘点获取:结合帧间关系获取当前帧车道线的测量值,并采用三倍标准差法剔除车道线边缘的异常点,增强算法的鲁棒性;
步骤六,影像W‑r扩展动态评估进行估算和修正:建立车道参数模型,采用影像W‑r扩展动态评估进行参数估算,并且采用帧间的车道线位置排除干扰;
步骤七,根据更新的状态值,获取最终的车道线边缘点,连接成车道线;
在步骤六中,需要比较当前帧检测核验值与上一帧采用影像W‑r扩展动态评估预测当前帧的预测值是否匹配,如果匹配,则设置的计数器值count加1,如果count的值大于等于3时,输出最优估算的值为当前车道线位置信息;如果不匹配,则进行下一帧,当前帧的值的输出另外判断。
4.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,边缘点提取:车道的颜色分为两种:黄色及白色,与灰色的路面形成鲜明对比,采用关联像素值的突变性特征来提取边缘点,不必要对每个边缘点都进行提取,采用快速行扫描的方式进行边缘点扫描提取,同时,车道线信息部分主要在影像下半部分,通过灭点的方法设定感兴趣区域,根据车道在图中的特征将检测区域重新设置成两部分:近域和远域,近域车道线在图中的比例较大,采用整行扫描;远域左右车道线间宽度较窄,且集中在图中间,只扫描中间大部分区域,近域车道线特征明显,采用隔行扫描,保留较多的车道信息;远域车道信息较弱,干扰信息多,采用隔三行扫描,避免过多干扰;
采用式1计算每个像素的边缘烈度:
式中:E(n,i)表示为第n行第i列像素点的边缘烈度,L表示滤波长度,根据经验值取8,当扫描到车道线左边缘时,会出现一个极大值,当扫描到车道线右边缘时,边缘烈度出现一个极小值,根据极大值和极小值将边缘点归分为两类分别采用自定义参数检测直线;
基于队列充分利用上一个边缘烈度的值信息求取下一个边缘烈度的值,相邻两个点的边缘烈度只需访问距离其滤波长度端点和它们两个本身的值,由原来的16次运算变为4次运算,如式2:E(n,j+1)=E(n,j)+I(n,j‑L)+I(n,j+L+1)‑I(n,j)‑I(n,j+1) 式2式中:I(n,i)表示第n行第i列像素点的像素值;
采用快捷噪声包容滤波方式对近域影像部分进行增强;噪声包容滤波模型依赖偏微分方程和和影像的离散化,使影像的拐点处得到一个跳动信号,由插值的原始影像u0(x,y)经过滤波过程u0(x,y,t),t>0,达到一个增强最好的效果u(x,y,t1),uηη表示影像梯度方向n的二阶方向导数, 为影像梯度,引入高斯函数对影像梯度的二阶方向导数进行平滑去噪,同时引入前向扩散过程即在方程中引入垂直于影像梯度方向的项来对影像锐化增强过程进行去噪,模型的具体方程如下:其中η,ξ分别表示平行于和垂直于影像梯度方向,*表示卷积,Gσ表示高斯函数,cξ表示一个常数,其值为正,uξξ表示前向扩散过程,式3第一项起到增强的效果,其后的一项则对增强过程进行去噪;
为简化计算量,基于道路标线边缘特征,去除式3中的第二项:
模型对影像中较大的边缘区域形成一个较好的增强效果,增强后的影像更有利于边缘点检测。
5.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,建立评判打分规则:减少几何Vight的计算量,直接采用原图的边缘点建立评判打分规则,不需要经过逆透视变换;
坐标点(k,θ)对应影像坐标系下直线,影像坐标下每条线对应着另一个空间坐标点(k,θ),本申请中先对所有的边缘点进行建表计算,得到一个评判打分规则,然后分两步对参数空间打分处理:对每个边缘点进行设定范围内角度θ遍历,计算获取对应的偏移量k,比较打分得到边缘线;
(1)对左右边区域的所有边缘点都进行倾斜角θ的遍历,通过计算得到对应的偏移量k,然后对(k,θ)打分进行增1,θ和k都根据经验设定取值范围,角度θ的取值范围为[20度,70度],k的取值范围为[0,840];
(2)比较参数对(k,θ)对应的得分,每一个(k,θ)代表着一条直线,得分越高的(k,θ)对,这条直线上的边缘点越多,那么它是车道线的可能性越大,算法中保留打分达到阈值的边缘线;
每一个点映射到坐标空间(k,θ)都有50条线,在众多的线当中,采用保留局部最大得分法,保证去除不必要的线,保留可能为车道线的线;
首先在每一个偏移量中,遍历所有的θ,找出得分最高的线并保存,在去除不必要的线时,避免把车道线的边缘线去除,之后,对左右两边区域的线分别进行两两是否相交判断,判断方法如下:k1和k2表示两条直线的偏移量,k3和k4表示两条直线与感兴趣区域顶部相交点的偏移量,如果(k1‑k2)·(k4‑k3)<0,说明两条直线相交,把得分较低的那一条线去除。
6.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,获取车道线检测核验值:结构化道路车道左右边缘的两条线角度相差不太大,两条线的偏移量宽度固定,根据这两个特征在较多的直线中匹配出候选车道线,在边缘点检测过程中,将边缘点分为两类,极大值和极小值,在根据边缘点检测直线的过程中,又将直线分为极大值即车道线左边缘对应的直线和极小值即车道线右边缘对应的直线,将这两类线根据平行度及偏移量进行两两匹配,得到候选的车道线;
在得到候选的车道线后,车道线偏向于影像的中间,因此能检测出的边缘点较密集,得分较多,根据车道线左右边的得分和进行筛选,得到打分最高的两条车道线,如果最高得分的车道线偏移量符合阈值范围,则认定是所求的车道线。
7.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,影像W‑r扩展动态评估参数估算跟踪:采用影像W‑r扩展动态评估进行参数估算和更新,根据输出的结果作为下一帧的优先检测范围,模型与车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S关联,采用车道线的边缘点的平均边缘烈度E及引入了一个表示车道线的弯曲程度的变量S,根据影像W‑r扩展动态评估修正后的角度和偏移量确定搜索线,采用车道线的弯曲程度的变量S确定线的某个范围内的点,从而搜索出该线的边缘点,依据线的边缘烈度E,采用三倍标准差法将边缘点中的异常点剔除,得到一条准确的车道线边缘点;
本申请采用车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S建立的系统模型如下:分别表示车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯
曲程度表示量S变化的速度,定义影像W‑r扩展动态评估其状态向量为:
状态转移矩阵为:
在初始时刻,状态向量设为:
T
x(0)=[k(0),θ(0),E(0),S(0),0,0,0,0] 式8k(O),θ(0),E(0),S(0)分别表示第一帧影像获取到的车道线信息,假设w1(i),w2(i),w3(i),w4(i)是独立统计,设系统噪声为:检测核验向量:
T
z(i)=[k(i),θ(i),E(i),S(i)] 式10测量方程为:
z(k)=Hx(k)+V(k) 式11
根据z(k),x(k)的关系得到测量矩阵为:
测量噪声向量为:
检测核验噪声的影响比系统噪声大,同样的假设v1(k),v2(k)统计独立,则:
为保证估算的准确性,在开始时刻将一个较大的值赋给P(t):
对参数进行估算和更新,道路建模中涉及的参数有车道线曲率、俯仰角、水平倾斜角、车道宽度及机动车侧向偏移,参数估计包括两个部分,第一部分是结合道路车道线的信息对道路进行估计,第二部分是相机的位置参数、焦距及路面环境信息;
为更好利用帧间信息实现稳定性,在影像W‑r扩展动态评估输出时设置一个控制变量,当计数器count的值大于等于3,则输出的结果为本帧最终的结果,否则本帧的结果需另外处理;计数器累加的规则是:如果当前帧的检测值与上一帧的影像W‑r扩展动态评估输出结果值相匹配,则计数器加1,最大为3;当不匹配时,计数器设为0,则不将动态评估输出结果作为最终的检测结果;
此外,算法设置另外两个计数器,这两个计数器根据检测核验值进行累加,如果前后帧的检测核验值相匹配,则计数器加1,最大上限为8,否则减1;当计数器的值达到8时,对应一个标记位mark,此时将mark设为1,默认定0;在mark为1后,如果有连续三针不一样,则将mark置为0;如果左右的mark都为1,则将当前左右的车道信息记录下来,当有一边车道线的计数器小于8而另一边的车道线计数器为8时,说明有一边车道线稳定,另一边的车道线被车挡住或是刮损;根据车道宽度不变性,在一条车道线位置不变的情况下,另一条车道线的位置也不会改变,此时将原来匹配好的车道信息取出来,作为当前帧的车道信息,增强算法的抗干扰能力。
8.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,车道边缘灵敏提取:在得到修正的参数之后,采用检测出的车道线角度θ、偏移量k确定搜索其边缘点的位置范围,采用自定义车道线弯曲程度表示量S确定搜索范围;算法设置一个梯形区域搜索范围,这个梯形以角度θ、偏移量k确定的直线为中心线,在影像车道底部区域,车道线的角度和偏移量反映车道边缘,搜索范围较小,搜索范围为线周围左右五个像素点,在感兴趣区域的最远处,设置的搜索范围为在线周围S+5个像素点;中间部分由近到远,搜索范围逐步增加;在形成的边缘点集中,包含其他的噪点,例如路面水坑、车道磨损变形等形成的点,本申请依据影像W‑r扩展动态评估估算的边缘点平均烈度E采用三倍标准差法将异常点剔除;
假设对某一帧的车道线左边缘检测出的边缘点个数为n,其边缘点烈度依次为:X1、X2、X3……Xn,则利用平均边缘烈度求算标准差:取E±3σ范围内的数值为保留值,去除此范围外的数值;剔除后根据剩余的数据重新计算标准差,在进行异常点剔除;依此循环,直到无异常点为止;根据最终得到的车道边缘点,连接成线,形成最终的车道线;
最后,根据得到的车道线边缘位置,获取车道线RGB三个通道的像素值,依据白色和黄色在B通道下的投影分量差别最大的特性,取B=88为临界值,大于88判为白色,否则判为黄色;添加一个判决条件,依据RGB颜色通道的红色分量R与蓝色分量B的比值进行辨别,右R/B>0.65判为白色,否则判为黄色。
9.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,基于机动车和车道相对距离的预警策略:以OABC表示经过车道线识别的影像,HKI表示设置的感兴趣区域,点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)表示左右车道线与HKIJ区域的交点,点C1(x5,0)、C2(x6,0)表示机动车在影像底部的两边边界点,车道宽度设置为3.75m,小型客车宽度设置是1.8m,设L为机动车在影像中的像素宽度,设L为机动车在影像中的像素宽度,则根据车道宽度和机动车宽度比r=LC/LD=1.8/3.75,LC=x4‑x2,LD=x4‑x2,根据直行测试视频序列获得LD的像素宽度,反推得C1(x5,0)、C2(x6,0)的坐标,求得左右车道线与机动车左右两侧的相对距离:dl=x5‑x2 式17
dr=x4‑x6 式18
将左右两侧的车道线与机动车左右两侧的相对距离转化为比例:
如果Rr<0.33则判为右侧偏移,如果Rl<0.33则判为左侧偏移,偏离判断不需要摄像头的标定复杂操作,这种基于相对距离的预警策略在机动车偏航角的越小的情况下,效果越好,在对于偏航角比较大的情况下,本申请采用基于车道线的偏移率的策略进行预警。
10.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统,其特征在于,基于车道偏移率灵敏预警策略:基于车道偏移率预警通过检测行驶机动车的偏航角,如果偏航角大于临界值,则说明即将发生车道线偏离,这时需要进行预警提示,推导得到偏移率:k代表车道线的斜率,x=tanθ代表偏向角对应的正切值,机动车沿道路直线行驶时,x=0;通过设定一个阈值偏向角,获取机动车偏离车道时的阈值偏移率;为了达到实时处理的结果,考虑机动车的响应时间,设置为0.2s至0.9s之间;程序处理每一帧的时间小于等于
0.1s;所以车道发生偏移时,检测和矫正需要的总时间t=0.9+0.1=ls,车道不发生偏离时:d为1.025m,v取40km/s,求得的偏向角度阈值为9度;如果偏向角小于等于9度,则不认定发生偏离;否则,认定发生偏离;本申请求得的参数中包含车道线的倾斜角度,因此简化依据公式:其中,θl代表当前检测的左边车道线的倾斜角度, 代表车道直行未偏离时左右车道角度的平均值,即:
如果 并且θl>θr,则认定发生右偏离;如果 并且θr>θl,则认
定发生左偏离;如果 则认定不发生偏离。