欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019102630709
申请人: 中国计量大学上虞高等研究院有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-14
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.可变光环境下学习注意力检测与预判装置,其包括光色传感单元、图像采集单元、心率采集单元、控制单元和用户接口单元;

所述光色传感单元采集工作面光照的照度、色温和颜色,所述图像采集单元采集学习者的面部及工作面区域的图像,所述心率采集单元采集学习者的心率,所述用户接口单元用户接口单元用来进行参数输入和按键操作,所述控制单元中的输出模块用来进行信号显示并将注意力因素值输出;

所述控制单元还包括处理模块、迭代学习模块、神经网络模块、连接切换器和存储模块,并且其被配置为:处理模块对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,其中视线专注度为视线偏移距离即当前视线与工作面交点到所预设工作面区块的最短距离,神经网络模块以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量,建立人工神经网络,迭代学习模块通过连接切换器分别从处理模块获取训练样本对应的3个输出量实际值,从神经网络获取该训练样本对应的6个输入量经神经网络处理后的3个映射值,根据该3个输出量实际值及3个映射值来调整神经网络结构参数以对神经网络进行训练,并重复训练直至完成,在线预测时,神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并经处理模块向输出模块输出;

所述存储模块用来记录和保存神经网络结构参数、迭代学习参数及计算过程值等数据。

2.根据权利要求1所述的可变光环境下学习注意力检测与预判装置,其特征在于,所述用来表征注意力因素的的3个体征参数的注意力因素值分别按如下方式处理获得:第一,对于眼睛开度序列de,先通过下式进行窗口平均滤波,获得当前时刻的眼睛开度e,再通过间隔移动窗口,获得眼睛开度的下采样序列Xe,

Xe={e(0),e(Ts),e(2Ts),...},

-b·x

接着,对序列Xe用下式进行函数拟合:y=a·e ,根据所拟合出的函数,求取开度变化时间tu,其中,L为窗口宽度,Ts为下采样间隔,a、b均为拟合系数,E1、E2为眼睛开度的两个阈值,且对于归一化的眼睛开度值序列,E1、E2在0~1之间取值;

分别根据眼睛开度e、开度变化时间tu,计算眼睛开度第一、第二体征值,其中,be、ce为根据统计所获得的、覆盖了正常状态下设定比例的眼睛开度值的区间的下限值与上限值,ae、de则分别为另两个预设下限值与上限值;btu为正常状态下当前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值,atu为设定的下限值;

计算眼睛开度的注意力因素值为,

ke=ke1·ke2;

第二,检测学习者视线与工作面的交点,若所述交点落在预设工作面区块范围之外,计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范围的时间长度,对于所述距离序列dd,先通过窗口平均滤波获得当前视线偏移距离d,同时计算对应窗口时间范围内视点连续超出预设范围的最大时间长度td,分别根据所述距离d、时间长度td,计算视线专注度的第一、第二体征值,其中,a、b为拟合系数,Td是正常状态下当前持续学习时间范围内覆盖了设定比例的、视点连续超出预设范围的最大时间长度,σ是一个预设的时间宽度值;

计算视线专注度的注意力因素值为,

kd=kd1·kd2;

第三,对于心率数据序列,根据正常状态下心率期望值设定一个上下波动区间,统计以当前时间为中心的一预设时间长度内、数据波动超出所述波动区间范围的的次数N,以及所述预设时间长度内心率在所述区间范围内的样本个数占比Rb,N=N++N-,

其中,N+为跨出所述区间的次数,N-则是跨入所述区间的次数;

分别根据所述次数N、占比Rb,计算心率的第一、第二体征值,

其中,TN是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动区间范围的最大次数,σN是一个预设的宽度值,aRb、bRb则是根据统计设定的两个比例阈值;

计算心率的注意力因素值为,

kb=kb1·kb2。

3.根据权利要求2所述的可变光环境下学习注意力检测与预判装置,其特征在于,其还包括一个用来进行所述工作面区块预设的工作区域设定单元,所述工作区域设定单元通过位于中心的枢轴支撑于一个支架顶端,所述枢轴上活动连接有呈对称分布的四块三角形调节板,且左右两块调节板之间还连接有第一调节轴、前后两块调节板之间连接有第二调节轴,在四块调节板的底边均设有一个矩形灯槽,所述矩形灯槽发出条形光斑,所述控制单元通过第一调节轴、第二调节轴改变调节板相对水平面的倾角,从而在工作面水平面上通过四条条形光斑围出一个矩形区域,作为预设工作面区块;

所述用户接口单元中设有一个学习模式键,且通过所述学习模式键选择为阅读模式时,所述神经网络的输出量增加一个用来表征注意力因素的的视线移动速率体征参数的注意力因素值,且其计算过程为:在一预设时间长度Tp内,检测学习者视线与工作面的交点,对落入预设工作面区块范围之内的所述交点的集合,求取外接矩形,并根据所述矩形的长X和宽Y,计算视线移动速率,然后,计算视线移动速率的注意力因素值为,

其中,avs、bvs分别为根据统计设定的两个速率阈值。

4.根据权利要求3所述的可变光环境下学习注意力检测与预判装置,其特征在于:所述图像采集单元采用的相机安装在工作场景中人员正对面的支架上,所述用户接口单元中包括有对当前学习难度进行指示的按键,所述神经网络增加一个学习难度系数输入参数。

5.根据权利要求1所述的可变光环境下学习注意力检测与预判装置,其特征在于:其包括一个底板,所述底板表面分布有多个已知位置的标定块,所述标定块各有一个圆形光点,所述用户接口单元有一个标定确认键,所述控制单元进一步被配置为:轮流点亮所述标定块,学习者注视被点亮的标定块,并在所述标定确认键被按下后通过图像采集单元采集学习者脸部图像,基于所采集图像提取人眼视线方向,将提取结果与该标定块的位置进行对比从而对视线方向检测参数进行标定。

6.根据权利要求1~5任何一项所述的可变光环境下学习注意力检测与预判装置,其特征在于,所述神经网络采用RBF神经网络,所述RBF神经网络的模型为:隐层第i个节点输出为:

输出层第j个节点输出为:

其中,输入向量X的维数为m,隐层H节点数为p个,输出向量Y的维数为n,Ci为隐层第i个节点高斯函数的中心,σi是高斯函数中心的宽度,||X-Ci||是向量X和Ci之间的欧氏距离,wij为第i个隐层节点到第j个输出节点间的权值。

7.可变光环境下学习注意力检测与预判方法,包括以下步骤:

S1、在控制单元中建立人工神经网络,所述神经网络以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量,以用来表征注意力因素的学习者眼睛开度、视线专注度度、心率共3个体征参数的注意力因素值作为输出量,其中视线专注度为视线偏移距离;

S2、处理模块对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值共5个光色参数,对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专注度值、视线移动速率,并通过读取心率采集单元的信号获取学习者的心率,根据每个参数的取值区间分别对其进行滤波、归一化等预处理后经评估量化得到各自的注意力因素值;

S3、通过控制单元的输出模块或用户接口单元向可调光灯组发出调光信号,对变化后的光环境基于光色传感单元、图像采集单元和心率采集单元进行信号采集后,按步骤S2的方法进行信号处理;

S4、重复进行步骤S3多次,获取神经网络的训练样本集,并用样本集对人工神经网络进行训练;

S5、基于训练好的神经网络,在现场环境中,对当前光环境下学习者的注意力进行在线预测:基于获取的现场工作面照度、色温、颜色的xyz色坐标值及输入的持续学习时间,对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并将结果通过输出模块输出。

8.根据权利要求7所述的可变光环境下学习注意力检测与预判方法,其特征在于,所述获取训练样本集过程中,使训练样本覆盖足够多的光照状态,其中在各光色变量的端值区域附近采样点设置较为稀疏,而在中间区域如色温4500k、照度300lx~500lx周围的区域,采样点设置更为密集。

9.根据权利要求7所述的可变光环境下学习注意力检测与预判方法,其特征在于,所述图像采集单元采用双目相机,所述处理模块包括图像处理部和光色处理部,所述图像处理部又包括眼开度检测器、视线检测器和嘴形检测器,所述光色处理部又包括照度检测器、色温检测器和颜色检测器;

所述步骤S2包括如下处理过程:

针对所采集图像,所述眼开度检测器通过计算脸部区域中的人眼高宽比来获取眼睛开度值,所述视线检测器通过获取脸部区域中眼睛瞳孔与普尔钦斑点构成的三维坐标向量来判断学习者的三维视线方向,之后,图像处理部根据视线与工作面平面交点来计算所述视线专注度值;

所述照度检测器、色温检测器和颜色检测器分别检测工作面的照度、色温以及颜色的xyz色坐标值。

10.根据权利要求7所述的可变光环境下学习注意力检测与预判方法,其特征在于:所述灯组为LED灯组,其通过调光器调节灯组内各LED灯的驱动电流值,所述调光信号为LED灯驱动电流的PWM波占空比数值;

所述用户接口单元通过一组由颜色粗调旋钮、颜色微调旋钮和亮度调节旋钮组成的光色调节模块来输入调光指令,所述步骤S3通过所述光色调节模块来进行调光操作。