欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022113541166
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于:制作基于卡尔曼滤波数据融合的姿态标注的双视角手势姿态估计数据集,包括第一阶段仿真手姿态估计阶段和第二阶段真实手势图像采集和姿态数据融合阶段;

对姿态标注的双视角手势姿态估计数据集进行3D姿态估计,包括手势姿态估计模型的训练阶段和预测阶段。

2.根据权利要求1所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,制作双视角手势姿态估计数据集时,首先进行仿真手姿态估计,其次,进行真实手势图像采集和姿态数据融合;

仿真手姿态估计包括如下步骤,

步骤1、确定所要预测的固定手势形态,即固定手型;

步骤2、对于步骤1确定的固定手型,使用建模仿真软件对固定手型进行3D建模,生成与该手型的物理外观特性近似的仿真手模型,物理外观特性包括在形态、肤色和纹理;

步骤3、在3D仿真软件中导入对于步骤2中获得的仿真手模型,并在3D仿真软件中设置两个摄像头,然后在3D仿真环境软件中采集仿真手模型在3维空间中旋转时的双视角手势图像和三轴姿态角度数据 , 为翻滚角、为俯仰角、 为偏航角,制作仿真手模型的姿态估计数据集;其中3D仿真软件中两个摄像头和仿真手模型的位姿关系与人类双眼和手势的位姿关系相同;

步骤4、对于仿真手模型的姿态估计数据集使用基于深度学习和集成学习的手势姿态估计方法,训练仿真手的3D姿态估计模型,使3D姿态估计模型能够对仿真手模型图像实现三维手势姿态的预测;

真实手势图像采集和姿态数据融合包括如下步骤,

步骤5、真实环境下,真实人手保持所要预测的手型姿态,手中置有姿态传感器,采集真实人手在三维空间旋转时的双视角手势图像序列和姿态传感器输出的三轴姿态角度数据序列,此时的双视角相机视角位置与步骤2中的双视角设置相同,此过程的姿态称为传感器输出姿态;

步骤6、将步骤3采集的双视角真手图像帧输入到步骤4,使用仿真手图像训练得到的仿真手姿态估计模型中进行姿态预测,该姿态数据称为模型预测姿态;

步骤7、将步骤6中预测的双视角图像对应的传感器输出姿态和模型对图像的预测姿态使用卡尔曼滤波进行数据的融合,将两个均具有不确定性的姿态数据通过卡尔曼滤波融合后输出准确的手势三维姿态数据,该三维姿态数据称为融合姿态,此过程中使用卡尔曼滤波进行多传感器的姿态数据融合操作,融合的是来自不同传感器的手势姿态数据;

步骤8、将步骤7生成的手势融合姿态作为步骤6采集的手势图像的标签并保存;

步骤9、对步骤5中采集的所有双视角真实手势图像帧和对应的传感器输出姿态均按照步骤6、7、8进行操作,获得具有融合姿态数据标签的真手图像序列,即生成了高精度姿态标注的手势姿态估计数据集。

3.根据权利要求2所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,所述的步骤3中制作仿真手模型的姿态估计数据集,具体步骤如下:步骤31、在3D建模仿真软件中导入步骤2设计的仿真手的3D建模模型,并设置好坐标系;

步骤32、在3D建模软件中设置可以捕获两个不同视角RGB仿真手图像的视觉传感器和能够输出仿真手模型三轴姿态角度的姿态传感器;

步骤33、实现仿真手模型在3D建模软件中绕三维空间坐标轴旋转,定时采集双视角传感器捕获的仿真手图像,同时记录采集图像时的传感器输出姿态角度,以姿态角度作为双视角图像的标签进行保存,采集手势图像和姿态数据就完成了仿真手模型的姿态估计数据集的制作。

4.根据权利要求3所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,所述的步骤5中采集真手的双视角手势图像序列和对应的三维姿态数据序列的具体步骤如下:步骤51、保持所要预测的手势形态并在手中置有姿态传感器,手在转动时姿态传感器元件与手不发生相对移动;

步骤52、设置两个与步骤3中视角相同的两个普通RGB相机;

步骤53、匀速转动手腕并定时捕获两个视角相机的手势图像,并记录采集图像时手中姿态传感器输出的姿态数据。

5.根据权利要求4所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,卡尔曼滤波数据串行融合的步骤如下:

步骤701、卡尔曼滤波手势姿态数据融合系统的参数初始化,初始化系统状态 ,初始化系统不确定性协方差矩阵 、系统状态噪声协方差矩阵 以及以姿态传感器输出姿态角度 作为系统观测量 的噪声协方差矩阵 和以手势姿态估计模型对手势图像预测的手势姿态角度 作为系统观测量的噪声协方差矩阵 ,步骤702、根据时刻的最优手势姿态角度估计 时刻的手势姿态角度 ,步骤703、根据先验估计系统不确定性协方差矩阵 ,T表示矩阵的转置,

步骤704、根据系统观测 的数据计算卡尔曼增益  ,步骤705、更新计算系统的后验不确定性协方差矩阵  ,I为单位阵,

步骤706、采用传感器输出姿态角度 作为观测值 对姿态进行第一次更新校正, 表示观测值第 时刻的值,即

得到第一次更新的手势姿态角度  ,

步骤707、由上述步骤获得第一次观测更新后的系统状态 和系统的不确定性协方差矩阵  ,采用手势姿态估计模型对手势图像预测的手势姿态角度 作为观测值 对系统的状态进行第二次更新校正,步骤708、根据系统观测2的数据计算卡尔曼增益  ,步骤709、更新系统的不确定性协方差  ,

步骤710、以手势姿态估计模型对手势图像预测的姿态角度 作为观测值 对手势姿态进行第二次更新校正, 表示观测值 第 时刻的值,即 

即为对两组观测值进行卡尔曼滤波融合后的手势姿态角度值,输出该融合后的手势姿态角度值,

步骤711、迭代步骤702‑710,不断对两组数据融合输出高精度的手势姿态角度值。

6.根据权利要求5所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,进行3D姿态估计时,首先进行手势姿态估计模型的训练,然后进行手势姿态估计模型的预测;

手势姿态估计模型的训练阶段步骤如下:

步骤10、将双视角分别记录为视角1和视角2,将双视角手势姿态估计数据集中所有视角1的图像训练基于卷积神经网络CNN的特征提取器 ;

步骤11、将双视角手势姿态估计数据集中所有视角2的图像训练基于卷积神经网络CNN的特征提取器 ;

步骤12、使用步骤10和11训练得到的特征提取器 和 分别提取双视角手势姿态估计数据集各自视角手势图像的深层特征 和 ;

步骤13、对于数据集中属于同时刻下采集的双视角图像的双视角特征 和 进行左右串行拼接,生成一个组合特征 ;

步骤14、对步骤13中获得的组合特征序列构造基于贝叶斯优化的集成学习手势姿态回归器,使用集成学习的回归算法进行手势的姿态回归,保存训练好的集成学习姿态回归模型。

7.根据权利要求6所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,手势姿态估计模型的预测阶段的步骤如下:

步骤15、训练一个手部检测模型,用于在实时手势姿态估计之前的摄像机捕获图像的筛选,剔除不包含人手的无效图像;

步骤16、采集与双视角手势姿态估计数据集中相同视角的双视角测试手势图像帧;

步骤17、使用步骤15中训练的手部检测模型对步骤16采集的双视角测试图像帧进行手部检测,确认图像是否包含人手;

步骤18、对手部检测后包含人手的双视角图像使用步骤10和步骤11训练的特征提取器提取双视角测试图像的深层特征 和 ;

步骤19、同步骤13,对步骤18提取的双视角测试图像特征 和 进行左右串行拼接,获得组合特征 ;

步骤20、将获得的测试图像组合特征输入到步骤14训练的集成学习手势姿态回归模型中进行姿态预测,输出对手势的三维姿态预测值。

8.根据权利要求6所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,训练基于CNN的特征提取器,操作步骤如下:

步骤101、选择可以提取图像深层特征的CNN架构;

步骤102、设置步骤101中CNN网络的全连接层为3个维度输出的回归层;

步骤103、以单一视角中的所有手势图像作为网络的输入,以手势的三轴姿态角度标签为输出,训练CNN网络拟合手势图像和三轴姿态角度;

步骤104、在训练CNN收敛到设定范围内后,停止训练,保存准确率最高的网络训练权重。

9.根据权利要求8所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,所述的步骤12中,使用训练好的CNN模型在提出手势图像时是提取的网络最后一个卷积层的输出特征。

10.根据权利要求9所述的基于卡尔曼滤波和深度学习的手势姿态估计方法,其特征在于,所述的步骤14中构造集成学习手势姿态回归器,具体步骤如下:步骤141、对提取并拼接后的双视角手势图像的组合深层特征进行特征降维;

步骤142、对降维后的手势图像特征和图像所对应的姿态角度数据构造新的手势姿态回归数据集;

步骤143、构造基于集成学习回归算法的手势姿态回归模型,即拟合手势图像的特征和姿态角度数据;

步骤144、以集成学习回归算法的超参数取值范围集合为搜索空间 ,以最小化手势姿态角度回归的误差为目标函数 ,采用贝叶斯优化方法搜索集成学习手势姿态回归模型的最优超参数组合 ,使其目标函数取得最小值;

步骤145、使用步骤144搜索的最优手势姿态回归超参数组合训练模型并保存。