欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101918815
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于单目视觉的驾驶员眼位空间坐标测量方法,其特征在于,该方法具体包括以下步骤:

S1:通过设置于驾驶舱内的单目相机获取驾驶员人脸图像;单目相机能有效观测到驾驶员左眼、右眼;

S2:通过张正友棋盘格标定法标定车辆坐标系与单目相机坐标之间的转换矩阵以及单目相机的内参矩阵和畸变参数,获得单目相机模型;

S3:基于单目相机的内参矩阵、畸变参数对驾驶员人脸图像进行去畸变处理,并对去畸变后的图像进行灰度化操作,获取灰度化图像的自商图;

S4:通过人脸检测器提取自商图中人脸位置,并通过人眼检测器在人脸位置区域中提取左、右眼瞳孔在单目相机像平面的坐标;

S5:根据单目相机模型以及驾驶员的瞳距,获取驾驶员左、右瞳孔在单目相机像平面的坐标与车辆坐标系XZ平面的Y轴向距离之间的约束方程;

S6:求解约束方程,获得驾驶员左、右瞳孔在车辆坐标系下的Y轴向坐标,结合单目相机模型、驾驶员左、右瞳孔在车辆坐标系下的Y轴向坐标,获取驾驶员左、右瞳孔在车辆坐标系下X轴和Z轴方向的坐标,获得车辆坐标系下的驾驶员眼位空间坐标;

其中,所述车辆坐标系中,驾驶员人眼平视观测方向为Y轴方向,左瞳孔至右瞳孔方向为X轴方向,垂直于X、Y轴的上方为Z轴方向;

所述步骤S2中,单目相机模型为:其中,M=(mij)3*4表示相机模型系数矩阵,mij表示M矩阵第i行j列的元素;s表示尺度因子; 表示左、右眼瞳孔在单目相机像平面的坐标; 表示左、右眼瞳孔在车辆坐标系下对应的齐次空间坐标;

所述步骤S5具体包括以下步骤:S51:根据单目相机模型,获取车辆坐标系x、z值与y值之间的关系式;

S52:基于步骤S51的关系式,分别构建左、右瞳孔在车辆坐标系下x、z值与y值之间的关系式,结合左、右瞳孔y值相等的条件,以及驾驶员的瞳距,获取驾驶员左、右瞳孔在所述单目相机像平面的坐标与车辆坐标系XZ平面的Y轴向距离之间的约束方程;

所述步骤S51中,车辆坐标系x、z值与y值之间的关系式为:其中, 表示车辆坐标系x、z值,所述步骤S52中,获取的约束方程为:T 2 T T 2

WWy+2WHy+HH=d

其中,d表示驾驶员的瞳距,E1、E2分别表示车辆坐标系下驾驶员左右瞳孔的空间坐标,T表示矩阵转置, 分别表示驾驶员左、右瞳孔在车辆坐标系的x、z坐标;y=ye,表示驾驶员瞳孔在车辆坐标系下的Y坐标;

W、H为中间过渡矩阵:

其中,

分别为驾驶员左、右瞳孔在单目相机像平面的坐标;

所述步骤S6中,结合单目相机模型、驾驶员左、右瞳孔在车辆坐标系下的Y轴向坐标,获取驾驶员左、右瞳孔在车辆坐标系下X轴和Z轴方向的坐标,具体为:其中,ye=y1=y2表示驾驶员瞳孔在车辆坐标系下的Y坐标。

2.一种基于单目视觉的驾驶员眼位空间坐标测量系统,其特征在于,该系统包括图像获取模块、标定模块、预处理模块、人脸检测模块、人眼检测模块、约束生成模块、约束求解模块和输出模块;

所述图像获取模块,通过设置于驾驶舱内的单目相机获取驾驶员人脸图像;其中单目相机能有效观测到驾驶员左眼、右眼;

所述标定模块,通过张正友棋盘格标定法标定车辆坐标系与单目相机坐标之间的转换矩阵以及单目相机的内参矩阵和畸变参数,获得单目相机模型;

单目相机模型为:

其中,M=(mij)3*4表示相机模型系数矩阵,mij表示M矩阵第i行j列的元素;s表示尺度因子; 表示左、右眼瞳孔在单目相机像平面的坐标; 表示左、右眼瞳孔在车辆坐标系下对应的齐次空间坐标;

所述预处理模块,通过为基于单目相机的内参矩阵、畸变参数对驾驶员人脸图像进行去畸变处理,并对去畸变后的图像进行灰度化操作后获取灰度化图像的自商图;

所述人脸检测模块,通过人脸检测器提取自商图中人脸位置,获得驾驶员人脸位置区域;

所述人眼检测模块,通过人眼检测器在所述人脸位置区域中提取左、右眼瞳孔在单目相机像平面的坐标;

所述约束生成模块,通过单目相机模型以及驾驶员的瞳距,获取驾驶员左、右瞳孔在所述单目相机像平面的坐标与车辆坐标系XZ平面的Y轴向距离之间的约束方程;具体包括:(1)根据单目相机模型,获取车辆坐标系x、z值与y值之间的关系式;(2)基于步骤(1)的关系式,分别构建左、右瞳孔在车辆坐标系下x、z值与y值之间的关系式,结合左、右瞳孔y值相等的条件,以及驾驶员的瞳距,获取驾驶员左、右瞳孔在所述单目相机像平面的坐标与车辆坐标系XZ平面的Y轴向距离之间的约束方程;

其中,约束方程为:

T 2 T T 2

WWy+2WHy+HH=d

其中,d表示驾驶员的瞳距,E1、E2分别表示车辆坐标系下驾驶员左右瞳孔的空间坐标,T表示矩阵转置, 分别表示驾驶员左、右瞳孔在车辆坐标系的x、z坐标;y=ye,表示驾驶员瞳孔在车辆坐标系下的Y坐标;

W、H为中间过渡矩阵:

其中,

分别为驾驶员左、右瞳孔在单目相机像平面的坐标;

所述约束求解模块,通过求解约束方程,获得驾驶员左、右瞳孔在车辆坐标系下的Y轴向坐标,结合单目相机模型、驾驶员左、右瞳孔在车辆坐标系下的Y轴向坐标,获取驾驶员左、右瞳孔在车辆坐标系下X轴和Z轴方向的坐标,获得车辆坐标系下的驾驶员眼位空间坐标;

获取的驾驶员左、右瞳孔在车辆坐标系下X轴和Z轴方向的坐标为:其中,ye=y1=y2表示驾驶员瞳孔在车辆坐标系下的Y坐标;

所述输出模块,用于输出驾驶员眼位空间坐标。

3.根据权利要求2所述的一种基于单目视觉的驾驶员眼位空间坐标测量系统,其特征在于,所述测量系统配合处理装置和存储装置实现驾驶员眼位空间坐标的测量及存储。