欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019110999804
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于膨胀卷积的多模态融合视线估计方法,其特征在于,包括以下步骤:

S1,利用RGB‑D相机进行人脸区域检测和人眼区域定位;

S2,利用人脸区域进行头部姿态估计;

S3,采用膨胀卷积模型提取人眼区域的RGB和深度图像特征;

所述膨胀卷积模型具有卷积层和膨胀卷积层,将人眼的RGB图像结合深度图像形成四个通道的人眼图像作为模型的输入,输出送入具有1000个神经元的全连接层FCMV;所述膨胀卷积模型具有四层卷积层,并在每层卷积层后接入步长为2,空间尺寸为2×2的最大池化操作,然后进行膨胀卷积操作;

S4,根据提取出的RGB和深度图像特征,通过卷积神经网络的全连接层融合提取的深度图像特征以及头部姿态进行回归估计并输出视线方向,具体包括:利用损失函数训练视线估计模型:

其中,N为训练图像对i的样本数,gi为输入图像对为i时的真实视线方向,为输入图像对为i时的预测视线方向, 和θi分别为输入图像对为i时的真实视线方向的偏航角和俯仰角,和 分别为输入图像对为i时的预测视线方向的偏航角和俯仰角,Lerr表示训练损失函数的大小。

2.根据权利要求1所述基于膨胀卷积的多模态融合视线估计方法,其特征在于:所述人眼区域定位具体为,对于人脸图像利用Haar‑like矩形特征来检测人眼感兴趣区域,对得到的人眼感兴趣区域进行水平方向上的积分投影和垂直方向上的差分投影,并分别计算灰度值,最终检测到在前者具有最小值以及后者具有最大值时,所对应的两极值点为两眼的中心点。

3.根据权利要求1所述基于膨胀卷积的多模态融合视线估计方法,其特征在于:所述膨胀卷积模型中的膨胀卷积是通过在权值间插入零点来扩展卷积滤波器,从而增加感受野的大小而不增加参数的数目。

4.根据权利要求3所述基于膨胀卷积的多模态融合视线估计方法,其特征在于:所述膨胀卷积是通过在原滤波器ω的两个连续空间位置之间沿每个空间维插入r‑1个零来实现的;对于每个空间位置i,一维膨胀卷积定义为:其中o[i]和x[i]表示特征图上位置i的输出和输入,ω是大小为l的卷积滤波器,r是采样输入的膨胀率,l表示卷积滤波器的大小。