欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019114046126
申请人: 华南农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度残差神经网络的二维多人体姿态估计方法,其特征在于,包括以下步骤:

1)获取基础人体姿态估计训练数据集,包括多张图片,每张图片包含多个人体和标注好的每个人体各关键点的位置;

2)将步骤1)中获取的图片处理成网络输入所需的形式,然后送入预训练的深度残差神经网络中进行前向传播,生成对应的特征向量作为图片的特征;

3)将步骤2)中生成的特征向量通过两个方向的多次卷积操作生成两个分支的特征映射,特征映射对应到两个分支的预测,一个称为部位亲和力场,用于预测各关节点位置,另一个称为关节点置信场,用于预测关节点直接的连接;

4)计算真实图片的关节点置信场和部位亲和力场,组合成为真实图片的特征映射,将步骤3)中输出的特征映射与真实图片的特征映射之间均方误差,并将误差反向传播,更新每个权值,做网络的训练,最终保存训练结果的网络参数;重复步骤1)-步骤3),生成训练后图片的关节点置信场和部位亲和力场;

5)使用步骤4)中生成的关节点置信场进行关节点的计算,并将相邻关节点连接,使用部位亲和力场进行计算,排除相邻关节点的错误连接,保证同一个人体相邻的关节点能进行正确的连接、非同人体的关节点不进行连接,最终得到图片中人体的所有关节点以及正确的关节点连接,即得到完整的二维多人体姿态结果。

2.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法,其特征在于:在步骤1)中,获取开源数据集做网络的训练,这个数据集叫MPII,包含多张图像,每张图片包含多个人体以及每个人体对应的各个关节点的位置,将获取的数据存入数据库中,用于后续网络的训练。

3.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法,其特征在于:在步骤2)中,修改所有图片尺寸为224*224以适应网络的输入,图片尺寸224*224为深度残差神经网络的图片输入尺寸要求,构建预训练的深度残差神经网络,将图片以及对应的标签输入到网络中,经过网络的前向运算,输出表示图片特征的特征向量F。

4.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法,其特征在于:在步骤3)中,将步骤2)中生成的特征映射F输入到一组自定义的由上下两个分支的卷积神经网络构成的结构网络中,一个结构网络的前向运算称之为一个阶段,该阶段随后会连续计算6次,次数为超参数,能够随意修改;通过网络的第一次前向运算,上下两个分支分别产成一组关节点置信场ρ1(F)和一组部位亲和力场 其中ρ1和 表示第一阶段的两部分卷积神经网络;在随后的每个阶段中,将前一阶段中来自两个分支的预测与原始图像特征连接起来,并用于生成精确的预测:t

其中,t表示6次前向运算中第t个阶段,ρ和 表示第t阶段的两部分卷积神经网络,F表示图片经过预训练的深度残差神经网络的特征向量,St和Lt表示t阶段网络输出的特征映t射,最终,经过多个卷积操作,模型输出了关节点置信场的特征映射S 和部位亲和力场的特征映射Lt,用于人体的关节点预测和关节点连接。

5.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法,其特征在于:在步骤4)中,生成一组与步骤3)中关节点置信场的特征映射St维度一致的向量S*,并将S*中对应是关节点的位置置位1,非关节点位置置为0,表示真实图片中的关节点置信场;

生成一组与步骤3)中部位亲和力场的特征映射Lt维度一致的向量L*,用于表示真实图片中的部位亲和场;对于属于特定肢体的区域中的每个像素,2d向量对从肢体的一部分指向另一部分的方向进行编码,每种肢体都有一个对应的亲和场,连接其两个相关的身体部位,设k为图片多人中的第k个人,c表示肢体,xj1,k和xj2,k是人体k中肢体c的两个真实的关节点j1和j2, 是一个二维向量,用于表示图片中第k个人肢体c的正确连接,即部位亲和力场,表示点p在这个二维向量的值,如果一个点p落在了肢体c上面,向量 的值就是一个由j1指向j2的单位向量,而其他位置的点p的值则为0向量;在网络训练阶段,定义真实图片中人体的部位亲和力场向量为 在整张图片中,所有的点p的值计算如下公式:其中,limbc,k表示人体k的c肢体,v=(xj2,k-xj1,k)/||xj2,k-xj1,k||2为肢体c方向上的单位向量;在肢体上的点的集合被定义为在某个阈值内的线段,即这些点p所在的位置满足:0≤v·(p-xj1,k)≤lc,k和|v⊥·(p-xj1,k)|≤σl,其中,肢体的宽度σl为像素水平的距离,肢体的长度lc,k=||xj2,k-xj1,k||2,F表示垂直于单位向量v的向量;在真实图片中,一个肢体的部位亲和力场的特征向量为:其中,n(p)表示所有重叠在k个人的c肢体的非零向量点p,即计算不同人的肢体重叠部分的平均值,得到所有的 后,将所有17个 合并,便得到了L*;将St和Lt合并,得到真实图片的特征映射;最后,将步骤3)中输出的特征映射与真实图片的特征映射之间均方误差,并将误差反向传播,更新每个权值,做网络的训练,最终保存训练结果的网络参数;重复步骤

1)-步骤3),生成训练后图片的关节点置信场的特征向量St和部位亲和力场的特征向量Lt。

6.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法,其特征在于:在步骤5)中,使用步骤4)中生成的关节点置信场的特征向量St,取St中的取值大于某个阈值λ的点作为网络预测的关节点,λ的大小根据网络预测情况进行选取;使用步骤4)生成的部位亲和力场的特征向量Lt计算相应部位亲和力场上的线积分,沿连接候选关节点位置的线段测量候选关节点检测之间的关联,即测量预测的部位亲和力场与通过连接检测到的真实图片身体部位形成的候选肢体的对准;具体地说,对于两个候选关节点dj2和dj1,沿着线段采样Lc以测量它们关联中的置信度:其中,Lc表示人体中所有c肢体的预测部位亲和力场二维向量,p(u)为两个关节点dj2和dj1位置的插值,p(u)=(1-u)dj1+udj2;最终,计算出E值表示dj2和dj1两个关节点连接的可信度,E值大于零,该连接可能为正确连接,若dj2和dj1为错误的连接,则E的值为小于零的值;

通过计算所有两两关节点的E值,选E大于0的连接为正确连接,最终得到完整的二维多人体姿态结果。