欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018100251050
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:所述手势识别方法包括以下步骤:步骤1:用户习惯性手势图像采集

由用户随机提供一组手势,将这组手势作为标准手势,采集该组手势图像,记为标准组;根据标准组手势模型图,构建其对应的实际标签类别;设置不同的标签类别触发相应AR系统指定功能;由用户重复n次上述手势,并采集所得n组手势图像,记为训练样本组;记录用户在AR终端实现人机交互时的N组手势图像,记为测试样本组;

步骤2:手势区域图像检测

分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测,以实现图像中肤色与非肤色区域的分割;

步骤3:卷积神经网络实现手势特征识别

设计卷积神经网络初步结构模型,用步骤1所得的样本数据训练并测试调整卷积神经网络模型,将步骤2所得二值化图像直接输入所述卷积神经网络;

所述步骤2中,手势区域图像检测步骤包括:

2.1图像RGB模型到HSV模型转换

利用公式(1)实现图像的红R、绿G、蓝B分量到色度H、饱和度S、亮度V分量转换;

max=max(R,G,B);

min=min(R,G,B);                       (1)V=max(R,G,B);

S=(max-min)/max;

2.2计算图像的色度H分量分布

利用公式(2)计算图像的H分量分布:

2.3实现图像二值化分割

利用公式(3)实现图像二值化分割,其中,Hh和Hd分别表示肤色的上、下界阈值;R表示分割后的二值化图像;

所述卷积神经网络由至少一个卷积层、至少一个池化层及一个输出层构成,其中,所述卷积层完成输入特征图与卷积核的卷积操作,卷积核即为权值参数的矩阵,在前一层的特征图滑动卷积核,与原图像重叠的区域进行加权求和,加入偏置值,经激励函数处理得到输出特征图的矩阵;不同输入特征图对应不同的卷积核;输出神经元产生的输出特征图将会形成下一个卷积层的输入特征图;整个过程可由公式(4)表达:l表示网络的第几层,K为卷积核,Mj为输入特征图的一个选择,每一层有唯一的偏置B,f(x)为激活函数;

对于输入的所述二值化特征图,在每次前向传播之后,经所述初步卷积神经网络模型所得实际输出与期望输出存在一定的误差;定义实际输出与期望输出的均方误差和为误差函数;设K个输出层的期望输出分别为dk(n),则单路输出的均方误差为整个神经网络输出层的均方误差为

根据误差函数采用最速下降法调整网络间的连接权值,每次权值调整量为其中,0<μ<1为学习速率;

对于输出层,其权值调整量为

输出层权值调整公式为

其中,μ1为输出层学习速率;

对于卷积层及池化层,其权值调整量为

卷积层及池化层权值调整公式为

其中,μ2为卷积层、池化层的学习速率;

在训练初始阶段选择较大的学习速率,加快收敛速度;在接近收敛时,减小学习速率;

避免了因为权值调整幅度过大而产生不收敛或者振荡现象;

其学习速率的变化方式为

其中,α为加入的动量项,μ(n)为可变学习速率,误差的变化量为ΔE(n)=E(n+1)-E(n)                      (14)ΔE(n)<0时,α=α,μ(n)=μ(n-1)m,m>1为正向学习因子;

ΔE(n)>0时,α=0,μ(n)=μ(n-1)n,n<1为负向学习因子;

由此,学习速率可根据实际情况确定,当当前误差梯度修正方向正确,即ΔE(n)<0,则增大学习速率,即m>1同时加入动量项α;反之,则减小学习速率,即n<1,同时α=0;

损失函数的大小决定了所述卷积神经网络模型的好坏,定义损失函数的期望值为风险函数,以度量平均状态下网络预测错误的程度;记输入为X,预测值为f(X),实际值为Y,损失函数为f(X)和Y的非负实值函数,记作L(Y,f(X)),由于(X,Y)是随机变量,遵循联合分布P(X,Y),所以损失函数L(Y,f(X))的期望即风险函数为:Rexp(f)=Ep[L(Y,f(X))]=∫L(y,f(x))P(x,y)dxdy          (15)经过所述初步的卷积神经网络结构模型,得到一系列训练数据集T={(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)},关于该训练数据集得到的训练误差的经验风险为:当经验风险达到最小,所述卷积神经网络模型达到最优状态;

最后,输入训练数据进行仿真验证,确定网络训练完成;

当用户进行AR终端人机交互时,拍摄手势图像,经由步骤2所述方法处理图片,将图片传入训练好的卷积神经网络,得到该图片对应标准手势类别,触发该手势对应指定功能;

用户在不断使用手势进行人机交互同时,记录并保存手势图像,以作为网络训练的样本。

2.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:采用ReLU函数作为激活函数,其线性不饱和形式可以加快网络收敛速度,函数表达式为:f(x)=max(0,x)。

3.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:所述池化层位于所述卷积层之后,起到二次特征提取的作用,所述池化层操作仅在同一特征图内部进行,不同特征图之间互不影响,不改变原特征图数量;对于采样窗口大小为n×n的操作过程,则输出的特征图相比输入特征图在两个维度上都缩小了n倍。

4.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:所述池化层采用平均值采样方式,平均值与偏置相加,经激活函数做非线性变换,表达式为公式(5):

5.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:所述卷积神经网络输出层输出内容为输入的特征图的预测类别标签;所述卷积神经网络包括前向传播计算神经元输出值和误差反向传播调整权值,信号向前传递,而误差向后传播,以此来不断调节网络权重值,使得网络的最终输出与期望输出尽可能接近,以达到训练的目的。

6.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法,其特征在于:所述步骤1中,所述用户习惯性行为分析包括:1)采用用户习惯性手势作为触发指令;2)不同个体进行同一个手势会存在差异性,具有不同特征;3)采用用户个人手势图像进行网络训练作为识别标准。