欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020107001301
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视线估计和双目深度估计的眼镜设计方法,其包括眼睛使用状态判定子步骤和视力保护子步骤,其特征在于,所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置,然后通过双目摄像头估计所注视位置的距离,从而判断出眼睛是在看近处的紧张状态还是在看远处的放松状态;所述视力保护子步骤是根据所述眼睛使用状态判定子步骤,分别对眼睛处于紧张和放松状态进行计时,达到设定时长震动提醒,从而保障眼睛在设定的使用和休息时长之间使用,所述眼镜设计方法的具体实施步骤如下:S1、基于视线估计和双目深度估计的眼睛使用状态判别方法:

S11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光,并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收;

S12、采用瞳孔角膜反射法进行视线估计,并将估计的视线与眼镜上的场景相机采集的图像的交点对比,确定用户眼球注视的区域;

S13、双目相机采用双目立体匹配算法SGBM计算出视差图,然后检测视差图的空洞区域,用附近视差值的均值填充,从而得到视差图,再根据视差和深度的转换表达式计算得到深度图;

S14、将双目相机计算的深度图与场景相机采集的图像进行配准,其中,将深度图的平面像素坐标转换到场景相机图像像素坐标系下,分为三小步;

S141、将双目相机的像素坐标变换到其相机坐标系下:

式中,uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值,xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标,f表示相机焦距,dx、dy分别代表横纵方向上,相机坐标变换到像素坐标的缩放比例;

从而双目相机的像素坐标到其相机坐标系的变换公式为:

式中,LR为双目相机标定的相机内参矩阵;

S142、将场景相机的像素坐标变换到其相机坐标系下:

式中,uR、vR、zR则分别表示场景相机图像像素的横坐标,纵坐标和深度值,xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标,f表示相机焦距,dx、dy分别代表横纵方向上,相机坐标变换到像素坐标的缩放比例;

从而场景相机的像素坐标到其相机坐标系的变换公式为:

式中,RR为场景相机标定的内参矩阵;

S143、求出双目相机坐标系到场景相机坐标系的变换,从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标:双目相机坐标系到场景相机坐标系的变换公式为:

式中,M为两个相机光心的外参矩阵;

分别将步骤S141和步骤S142中,双目相机和场景相机像素坐标变换为相机坐标的式子,带入步骤S143中的式子中,整理得到:式中,W为最终整理得到的4×4参数矩阵,将其展开列出:

由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为:S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标,在对应深度图中获取深度值;

S151、若深度值大于最大设定值,判定用户眼睛是放松状态;

S152、若深度值小于设定的最小值,则认为用户眼睛是紧张状态;以及S2、视力保护子步骤:

S21、对视线估计的初始化值进行校准,同时设定眼睛紧张状态和放松状态的设定值;

S22、设定护眼模式和等待模式,所述护眼模式主要设置用户眼睛的使用时长以及休息时长,同时根据用户所处的环境设定用户眼睛的远眺距离;

S23、用户开启使用后,激活智能眼镜系统中的视线估计和双目深度估计,若检测到用户眼睛注视目标距离小于设定的规定值,满足眼睛紧张状态的情况达到30秒后,视为眼睛进入紧张状态,触发系统的计时程序,开始计时;

S24、计时程序达到设定时长,给震动马达一电信号,震动马达启动,持续震动,提醒用户休息;

S25、用户远眺,开始放松眼睛;

S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离,给震动马达电信号,震动马达停止震动,同时触发系统的计时程序,开始计时;

S252、若用户眼睛未达到规定休息时长,震动马达继续震动,智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离,震动马达停止震动;

S26、若用户眼睛达到规定休息时长,解除震动马达的震动提醒;

S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒,进入下步骤S22的等待模式。

2.根据权利要求1所述的基于视线估计和双目深度估计的眼镜设计方法,其特征在于,在步骤S13中,所述视差和深度的转换表达式为:式中,D为深度值;f为相机焦距;b为两相机光心之间距离,即基线距离;d为视差值。

3.一种根据权利要求1或2所述的基于视线估计和双目深度估计的眼镜设计方法的眼镜,其特征在于,其包括双目相机、右红外光源发射接收器、左红外光源发射接收器和场景相机,所述双目相机位于眼镜框的上部的中心,所述场景相机位于鼻托的中心,所述左红外光源发射接收器和所述右红外光源发射接收器分别位于眼镜框的左右两端。

4.根据权利要求3所述的基于视线估计和双目深度估计的眼镜设计方法的眼镜,其特征在于,所述左红外光源发射接收器的发射接收中心和所述右红外光源发射接收器的发射接收中心分别与左右眼球的中心在同一直线上。