欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021109081447
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种自由角度下的安全驾驶预警方法,其特征在于,包括以下步骤:图像采集设备安装于司机视线区域范围内的任意位置;

以鼻下点为原点,人脸姿态向量的面部法向量、面部向上向量与面部右切向量分别为Zc轴、Yc轴、Xc轴或Z轴、Y轴、X轴,分别创建人脸正对图像采集设备时与人脸正对车辆正前方时,设备视角下的人脸三维坐标系⊥OcXcYcZc与正前方视角下的人脸三维坐标系⊥OXYZ;

初始化,语音提示司机双眼保持水平,视线平视车辆正前方,在语音发出t秒后,开始检测人脸姿态向量;记录当前m帧图像中每帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态向量,并根据人脸姿态向量计算人脸姿态平均向量的单位向量,F F

包括面部平均法向量的单位向量n 、面部平均向上向量的单位向量u与面部平均右切向量F

的单位向量t;

根据设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态平均单位向量与正前方视角下的人脸三维坐标系⊥OXYZ的人脸姿态单位向量,计算两个视角下的人脸三维坐标系之间的变换矩阵R;

在设备视角下的人脸三维坐标系⊥OcXcYcZc中,语音提示司机注视不同安全边界并采集注视不同安全边界时的m帧图像中人脸姿态的面部法向量,计算注视不同安全边界时的面部平均法向量的单位向量;

利用所述变换矩阵将所述注视不同安全边界时的面部平均法向量的单位向量转换到正前方视角下的人脸三维坐标系⊥OXYZ中,得到正前方视角下的注视不同安全边界时的面部平均法向量的单位向量;

根据所述正前方视角下的注视不同安全边界时的面部平均法向量的单位向量,计算注视不同安全边界时的俯仰角与偏航角;

根据所述注视不同安全边界时的俯仰角与偏航角确定视线安全角度范围;

采集行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量,并通过变换矩阵R转换为正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量,根据正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量计算实时俯仰角α与实时偏航角β;

判断实时俯仰角与实时偏航角是否落在视线安全角度范围内;若是,则表明视线落在安全角度范围内;若否,则表明视线超过了安全角度范围,发出告警。

2.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,通过基于面部特征点的单幅图像人脸姿态估计方法,获取人脸偏转角并建立人脸姿态矩阵,通过人脸姿态矩阵获取人脸姿态向量,再根据人脸姿态向量计算人脸姿态单位向量;人脸姿态矩阵如下:

其中,Rx,Ry,Rz分别为人脸绕三个坐标轴的旋转矩阵:α′表示绕Xc轴或X轴的人脸偏转角,β′表示绕Yc轴或Y轴的人脸偏转角,γ′分别表示绕T T

Zc轴或Z轴的人脸偏转角;N=[nx,ny,nz]为面部法向量,U=[ux,uy,uz]为面部向上向量,TT

=[tx,ty,tz]为面部向右切向量。

3.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,初始化过程中F F

按如下方式计算面部平均法向量的单位向量n 、面部平均向上向量的单位向量u与面部平F

均右切向量的单位向量t:计算人脸姿态平均向量中的面部平均法向量 与面部平均向上向量式中, 表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部法向量; 表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部向上向量;

F F

计算面部平均法向量的单位向量n与面部平均向上向量的单位向量u:F F F F F F

验证n 、u 是否垂直:如果n·u ≤ε,表示n 、u 相互垂直,则计算面部平均右切向量的F F

单位向量 如果n·u>ε,ε表示阈值,语音提示重新检测司机平视车辆正前方时的姿态。

4.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,所述变换矩阵R按如下方式计算:

F F F

设备视角下的人脸三维坐标系⊥OcXcYcZc中的n 、u和t向量分别对应正前方视角下的T T T

人脸三维坐标系⊥OXYZ中的[0,0,1]、[0,1,0]和[1,0,0]向量,则有:从而得到:

5.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,所述安全边界包括视角上、下边界与视角左、右边界;

司机面向正前方的车窗玻璃上沿位置作为视角上边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角上边界时m帧图像中人脸姿态的面部法向量,并计算注视视U

角上边界时的面部平均法向量的单位向量n;

司机面向正前方的驾驶位仪表盘位置作为视角下边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角下边界时m帧图像中人脸姿态的面部法向量,并计算注视视D

角下边界时的面部平均法向量的单位向量n;

司机面向右后视镜位置作为视角右边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角右边界时m帧图像中人脸姿态的面部法向量,并计算注视视角右边界时的R

面部平均法向量的单位向量n;

司机面向左后视镜位置作为视角左边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角座边界时m帧图像中人脸姿态的面部法向量,并计算注视视角左边界时的L

面部平均法向量的单位向量n;

U D R L

注视视角上、下、左、右边界时的面部平均法向量的单位向量n、n 、n、n的计算通式如下:

式中,表示面部平均法向量; 表示第i帧图像中人脸姿态在设备视角j

下的人脸三维坐标系⊥OcXcYcZc中的面部法向量;n 表示面部平均法向量的单位向量,j={U,D,R,L}。

6.根据权利要求5所述的自由角度下的安全驾驶预警方法,其特征在于,利用变换矩阵R将在设备视角下的人脸三维坐标系⊥OcXcYcZc中的注视视角上、下、左、右边界时的面部平U D R L

均法向量的单位向量n、n、n、n,分别转换到正前方视角下的人脸三维坐标系⊥OXYZ:从而得到正前方视角下的人脸三维坐标系⊥OXYZ中分别注视视角上、下、左、右边界时U D R L

的面部平均法向量的单位向量N、N、N、N。

R

7.根据权利要求6所述的自由角度下的安全驾驶预警方法,其特征在于,计算N的俯仰R R L L L

角α和偏航角β: 计算N 的俯仰角α与偏航角β:U U D

计算N 的俯仰角α: ’计算N 的俯仰角D

α:

R

8.根据权利要求7所述的自由角度下的安全驾驶预警方法,其特征在于,通过对比β与L L R

β绝对值的大小判断采样姿态是否正确;当驾驶舱位于车辆左侧时,若不满足0<|β|<|β|

90°,则判断采样姿态异常,重新进行初始化;当驾驶舱位于车辆右侧时,若不满足0<|β|<|L

|β|<90°,则判断采样姿态异常,重新进行初始化。

9.根据权利要求7所述的自由角度下的安全驾驶预警方法,其特征在于,所述视线安全角度范围包括左后视镜安全角度范围、右后视镜安全角度范围、正前方安全角度范围与侧前方安全角度范围;

L L L

左后视镜安全角度范围包括左后视镜水平角度范围B与左后视镜垂直角度范围A ;AL D L U L L L为[α+α,α+α];B 为[β‑η,β+η],η为驾驶员看最近的后视镜时视线左右偏转限值,L

η与驾驶舱位置有关,当驾驶舱位于车辆左侧时η=β/4,当驾驶R

舱位于车辆右侧时η=β/4;

R R R

右后视镜安全角度范围包括右后视镜水平角度范围B与右后视镜垂直角度范围A ;BR R R R

为[β‑λη,β+λη],左、右后视镜视线方向与正前方视线方向夹角的比例 A 为[α‑R U D

γ,α+γ],γ=max(|α|,|α|)作为右后视镜俯仰角上下偏差;

F F F

正前方安全角度范围包括正前方水平角度范围B与正前方垂直角度范围A ;B为[‑δ,F

δ],δ为除去左后视镜角度限值η后的余下角度限值,即δ=(n‑1)η;正前方垂直角度范围AD U

为[α,α];

RF RF RF R

侧前方角度范围括侧前方水平角度范围B 与侧前方垂直角度范围A ;B 为[β+λη,‑RF D U

δ],侧前方垂直角度范围A 为[α,α]。

10.根据权利要求9所述的自由角度下的安全驾驶预警方法,其特征在于,行驶过程中c c c c T

设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量为N=[x ,y ,z] ,则正w

前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量N:w w w w T c

N=[x ,y ,z]=RN;

所述实时俯仰角α与实时偏航角β:根据α与β判断该面部向量所属视线范围:L L

当(α∈A)∩(β∈B)时,判断视线落在左后视镜安全角度范围内;

R R

当(α∈A)∩(β∈B)时,判断视线落在右后视镜安全角度范围内;

F F

当(α∈A)∩(β∈B)时,判断视线落在正前方安全角度范围内;

RF RF

(α∈A )∩(β∈B )时,判断视线落在侧前方安全角度范围内;

行驶过程中图像采集设备每隔k豪秒捕捉一次人脸姿态,设当前帧为m,其连续r帧的面部法向量N在设备视角下的人脸三维坐标系⊥OcXcYcZc中的单位向量为 i=m‑r+1,m‑r+

2,...,m;依次计算 所属的视线范围,只有当连续r帧中90%都属于同一个视线安全角度范围时,才判断为落在某一视线安全角度范围内。