1.一种基于卷积神经网络的人机交互方法,其特征在于包括下述步骤:(1)训练神经网络:
1.1对视频库中手势动作逐帧识别,形成手轮廓图像;
1.2对识别的手轮廓图像执行通道求和操作;
1.3对求和操作得到的图像输入到卷积神经网络中进行训练,得到训练好的神经网络;
(2)手势判断:
2.1对摄像头采集的手势动作逐帧识别,形成手轮廓图像;
2.2对识别的手轮廓图像执行通道求和操作;
2.3对步骤2.2求和操作得到的图像输入到步骤1.3训练好的卷积神经网络中,判断出输入的手势动作属于什么类型手势;
2.4输出识别结果,进行相应手势操作。
2.根据权利要求1所述的基于卷积神经网络的人机交互方法,其特征在于:所述步骤
1.1和步骤2.1中形成手轮廓图像的步骤为:
1.1.1从视频库或摄像头中获取一段手势动作帧序列,假设总帧数为n;
1.1.2从帧序列中提取第i帧图像Ii,i的初始值为1;
1.1.3根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值,然后调整图像Ii每个像素的R G B值,使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值;
1.1.4使用Sobel算子对调整后的图像Ii进行边缘检测,并按边缘闭合区域分割图像,形成多个子图像集A(A1,A2,…,An),根据人体肤色灰度值数据Gskin,标记出图像Ii中的手轮廓Aj;
1.1.5将手轮廓外区域设置颜色值为0,轮廓内区域设置颜色值为INT(256×i/n),得到图像Si;
1.1.6如果不是最后一帧图像,则i=i+1,跳转到步骤1.1.2,如果是最后一帧,则完成手轮廓图像形成步骤。
3.根据权利要求2所述的基于卷积神经网络的人机交互方法,其特征在于:所述步骤
1.2中通道求和操作步骤为:
1.2.1对手势动作帧序列所有轮廓图像Si执行通道求和操作,求和得到各通道的求和图像PRj=∑SRi,PGj=∑SGi,PBj=∑SBi;下标R,G,B分别表示红绿蓝三个通道,把三个通道重新整合为RGB图像,即图像Pj。
4.根据权利要求2或3所述的基于卷积神经网络的人机交互方法,其特征在于:在步骤
1.1.2和步骤1.1.3之间对图像Ii进项中值滤波去噪操作,提高鲁棒性。
5.根据权利要求3所述的基于卷积神经网络的人机交互方法,其特征在于:所述图像Ii的颜色模式替换为CMYK或Lab模式,步骤1.1.3和步骤1.2.1对图像的操作分别针对C、M、Y、K或L、a、b通道进行。