欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018110571869
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法,其特征在于,包括以下步骤:S1,实时对人脸进行定位及预处理,并提取人脸、人眼关键特征点位置,建立三维人脸坐标及建立三维视线几何模型;

S2,通过提取的人脸特征点位置,分别建立头部偏转估计子模型和视线估计子模型的贝叶斯回归后验概率决策模型;

S3,提出预测模型,通过协方差矩阵,利用t‑1时刻对t时刻的视觉注意力进行估计;

S4,设置权重关系对步骤S2的视线估计模型、头部估计子模型以及步骤S3的预测子模型进行融合;

S5,利用增量学习的方法来对参数进行动态更新;

所述建立三维视线几何模型具体包括:

S22:确定左外眼眦xel、右外眼眦xer、左内眼眦iel、右内眼眦ier、左瞳孔pl、右瞳孔pr特征点位置,建立视线几何模型;

S23:利用步骤S22中的几何模型,得到眼球大小c表示为c=[(xer‑xel)‑(ier‑iel)]/4,xel表示左外眼眦、xer表示右外眼眦、iel表示左内眼眦、ier表示右内眼眦,眼球中心到眉心距离表示为ml=(se‑xel)‑c或者ml=(se‑iel)+c;

S24:利用三角余弦定理求得α、β,其中,bl与br分别表示三维视线几何模型中左右眼视线方向矢量,α表示右眼视线方向br的角度;同理,β表示左眼视线矢量bl的角度,pr为blbr的交点即为视觉注意力的具体点位置,bl与br的角度分别为人眼中心位置到瞳孔位置的方向,距离分别为人眼中心位置到具体点位置的长度;

所述视线和头部的贝叶斯回归后验概率建立步骤包括:

S31:ψt=(αt,βt)为t时刻的视线方向,αt表示t时刻右眼视线的角度,βt表示t时刻左眼视线的角度,基于视线估计的视觉注意力条件概率表示为表示t时刻基于视线估计子模型的视觉注意力VFOA检测、g表示该时刻的视线估计;

S32:右眼视线方向由条件概率P(α|br,mr,d)求得,左眼视线方向为P(β|bl,ml,d);bl与br分别表示三维视线几何模型中左右眼视线方向矢量;

S33:头部偏转的朝向分别表示为Tt=[Tx,Ty,Tz]和Rt=[Rx,Ry,Rz];其中,Tx,Ty,Tz表示在三维人脸模型中头部的位置、Rx,Ry,Rz表示在三维人脸模型中头部的偏转朝向,将头部可观测参数记为ht=(Tt,Rt);

S34:计算S33中的可观测参数的先验概率,基于头部姿态的视觉注意力估计子模型后验概率表示为 其中 表示t时刻基于头部子模型的视觉注意力VFOA检测、ht表示头部可观测参数,∝表示正比于;

所述预测模型建立步骤包括:

S41:获取t时刻和t‑1时刻的样本帧图片像素点pi和pj,利用高斯协方差矩阵c(pi,pj)来度量两个时刻采样图片的相关性,利用相关性来对下一时刻进行预测,t时刻和t‑1时刻的样本帧图片像素点之间的相关性表示为 σc和l表示不同帧中特征点的变化标准差及相对距离、pi、pj分别表示在t时刻和t‑1时刻获取的样本帧图片像素点灰度值;

S42:t时刻和t‑1时刻的样本帧图片协方差矩阵表示为:

S43:利用步骤S42求得的协方差矩阵C,t时刻的预测模型注意力估计则表示为P(FPt|‑1Ft‑1)∝Pt‑1=CC Ft‑1;FPt表示t时刻基于预测模型的视觉注意力估计,Ft‑1t‑1时刻的预测模型注意力估计;

所述利用增量学习的方法来对参数进行动态更新,网络增量动态更新步骤包括:S61:S为模型读取的新数据样本,p*(ht)表示在t时刻更新后的头部概率密度,ψt*表示t时刻更新后的视线参数,更新过程如下:S62:选取贝叶斯信息准则BIC为注意力检测模型的网络评分函数,选取在设定范围内的ωi取值得到 从而得到BIC评分函数最高的网络结构;

S63:得到更新后的网络表示为:

表示更新后的贝叶斯决策网络,ω1、ω2、ω3分别表示头部估计子模型、视线估计子模型以及预测子模型在视觉注意力估计时分别所占权重。

2.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法,其特征在于,所述建立三维人脸坐标具体包括:通过RGB‑D传感器获取头部位置,由此建立三维人脸坐标,以鼻底和嘴角中心的连线作为y轴;鼻底和鼻突方向作为z轴;右手定则确定x轴方向。

3.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法,其特征在于,将预处理后的人脸图像利用Haar‑like矩形特征来检测人眼区域ROI,对得到的人眼区域ROI进行水平方向上的积分投影和垂直方向上的差分投影并分别计算灰度值,最终检测到在积分投影方向具有最小值以及垂直方向上具有最大值时,所对应的两极值点作为两眼的中心点(pl,pr)。

4.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法,其特征在于,在获得两眼球位置的基础上,对眼部区域进行处理,首先采用自适应二值化方法确定门限阈值,得到眼部区域的自动二值化图像,然后结合Susan算子,利用边缘和角点检测算法在眼部区域内准确定位内外眼眦点(xel,xer,iel,ier),获得眼部区域边缘图像,并在此基础上对眼部图像中的黑色边缘曲线进行角点提取,即可获得准确的两眼内外眼眦点位置。