1.一种Kinect v2和Leap Motion的数据融合的手势识别方法，包括2台计算机、2台Leap Motion、1台Kinect v2，其中1台计算机为服务端计算机，1台计算机为客户端计算机，

1台Leap Motion为基准Leap Motion，1台Leap Motion为辅助Leap Motion；首先，从Kinect v2的深度图像中识别指尖；然后，分三步对三个体感设备观察到的坐标进行空间上的对准，一是联合标定三个体感设备得到初步的坐标转换参数，二是对两个Leap Motion精细标定，三是Kinect v2和基准Leap Motion精细标定；最后，利用Unity将三个体感设备的数据在时间上对准，建立数据的采信方案，实现手势识别；其特征在于具体实现步骤如下：步骤1、设备的布置：基准Leap Motion和Kinect v2通过数据线与服务端计算机进行连接，辅助Leap Motion通过数据线与客户端计算机进行连接；两个Leap Motion的角度为

60°；Kinect v2与基准Leap Motion的距离为700mm；

步骤2、取得手部区域：利用Kinect v2得到人体的深度图，并利用中间件OpenNi和Nite2取得人手的中心，然后对Kinect v2的深度图进行处理；分两种情况取得手部区域，(1)手心法向量指向Kinect v2时，利用Kinect v2的手部和背景的深度数据取得手部区域；

(2)其他情况，按手部区域所占像素来获取手部区域；

步骤3、深度图像预处理，利用彩色图像、双边滤波和中值滤波对深度图进行预处理，消除空洞现象、高斯噪声和椒盐噪声；

步骤4、得到指尖的空间坐标：利用Canny算子提取手部区域轮廓；计算手部中心与手部边缘上每个像素的距离，并得到距离曲线；距离曲线峰值点对应的坐标位于手部中心之上，视为手指；峰值点对应的坐标位于手部中心以下，需经判断，距离手部中心y轴上最近的坐标点是指尖坐标，其余峰值点对应的坐标不是指尖坐标；确定指尖的像素位置后，利用Kinect v2的SDK，将指尖的像素位置转换到对应的三维空间坐标；

步骤5、初步的联合标定：1D标定物是一根杆上的三个反光球，同时标定三个体感设备；

求出每个体感设备向基准坐标系转换的旋转矩阵R、平移矩阵T和内参数矩阵K，K中包含内参数α,β,γ,u0,v0，其中α和β表示图像u轴和v轴的比例因子，单位是mm，u0和v0表示相机的主点位置，单位是像素，γ表示坐标轴倾斜参数；

步骤6、两个Leap Motion的数据的精细配准：设基准Leap Motion对应的关键采样点的3

点集为B＝{bi|bi∈R ,i＝1,2,...,m}，辅助Leap Motion对应的关键采样点的点集为V＝3

{vi|vi∈R ,i＝1,2,...,m}；点集B和点集V的点下标数相等，且一一对应组成关联点对，利用单位四元数表示旋转矩阵和平移矩阵，设旋转向量为qR＝[q0,q1,q2,q3]，平移向量为qT＝[q4,q5,q6]，则坐标变换向量为qall＝[qR|qT]，这样，求得qall，即可得到辅助Leap Motion坐标系向基准Leap Motion坐标系转换的旋转矩阵R'和平移矩阵T'；

步骤7、Kinect v2和基准Leap Motion之间的数据的精细配准：采用的对应点集是手的所有指尖，将刚性的手模型张开，保持各个关节在Kinect v2和基准Leap Motion的观测范围内不互相遮挡，使Kinect v2和基准Leap Motion能观测到手部的所有关节；利用步骤6的精细配准步骤，得到Kinectv2向基准Leap Motion坐标转换的旋转矩阵和平移矩阵；

步骤8、数据在时间上的对准：对于服务端计算机的两个体感设备设置同样的采样频率，使得基准Leap Motion采集的一帧对应同时刻Kinect v2采集的一帧；两个Leap Motion数据在时间上的对准采取对一个动作的时间配准，通过特征夹角的状态来判定一个动作的起止，使两个Leap Motion得到的数据对应的都是同一个手部动作的数据；融合方式如下：(a)当一个动作未开始时，两个Leap Motion观测到的角度特征值同时是稳定状态；

(b)当基准Leap Motion检测到参与手部动作的任何一个手指的一个或多个特征值在某一时刻变成了非稳定状态，记这个时刻为一次运动的起点，而辅助Leap Motion由于两台计算机传输原因，延迟一段时间之后，其相对应的特征值也进入非稳定状态；

(c)当手部动作结束时，基准Leap Motion的全部特征值再次变为了稳定状态，经过两台计算机之间的数据传输，当辅助Leap Motion的全部特征值变为稳定状态，这时才是手部运动的结束；

步骤9、两种体感设备数据的采信方案，根据两种体感设备的识别范围筛选和采信数据，利用手心位置判断体感设备的识别范围，采信方案1：(a)当手的位置超出Leap Motion可识别的范围，则采信Kinect v2的数据，否则采信Leap Motion的数据，注意，采信Kinect v2数据指的是手的位置数据，不是采信其指尖数据，指尖和手势的数据还是保持之前Leap Motion的数据；

(b)当Kinect v2得不到指尖数据时，则不采用Kinect v2得到的数据，只采信两个Leap Motion的数据；

步骤10、两个Leap Motion数据的采信方案,根据Leap Motion特性，当手指被手的其他部分遮挡时，建立决策层采信方案2：

(a)当两个Leap Motion监测某支手指，在330ms，10帧的时间手指的状态一致，采信离手指近的那个Leap Motion的数据；

(b)当两个Leap Motion在330ms，10帧的时间识别某支手指状态不一致，采信识别手指是运动的那个Leap Motion的数据。