1.一种融合sEMG和AUS的手势识别方法,包括如下步骤:
S1:sEMG和AUS的数据同步采集;令受试者进行sEMG和AUS的同步采集;采集过程将包含m种实际手势动作;
数据同步采集时,首先受试者右臂需要佩戴校准后的采集设备,该采集设备包含nc个采集通道;其次受试者需舒适地静坐,将其右臂的肘关节放置于桌面,准备数据同步采集;接着受试者按提示依次进行手势动作,每个手势动作持续nt秒,每轮采集结束后受试者休息
5nt秒;然后受试者工进行8轮采集;最后记录每个手势动作的sEMG、AUS以及动作标签;
因为不同受试者对于所给提示的反应效果不一致,所以将每一个手势动作的持续时间进行划分,分为:提前时间1秒、稳态时间nt-2秒和滞后时间1秒,后续手势识别过程中将主要采用稳态时间内所采集的数据;
S2:sEMG和AUS的数据维度匹配;因为sEMG和AUS分别属于连续信号和离散信号,所以两者的采集方式不一致,采集频率不一致,因此需要对sEMG和AUS进行数据分窗操作,以匹配两者维度,便于后续的信号融合;
sEMG的分窗数量为 窗口交叠长度为 窗口长度为 如式(1)计算;
式中,tstable为稳态时间;Fps为AUS的帧率;a为窗口交叠长度系数,b为窗口长度系数;
经过数据分窗操作后,每个手势动作内,sEMG的分窗数量与AUS的帧数相同,同为tstableFps(即, ),将实现两者在维度上的匹配;
S3:sEMG和AUS的特征提取;对于所采集的sEMG和AUS信号进行各自相关特征的提取;
sEMG进行的是TD-AR6特征组合提取,即对每一个窗口中的sEMG数据选取4个时域特征:平均绝对值、波形长度、过零点数与斜率变化率以及6个模型参数:自回归模型的6阶AR系数;
sEMG的4个时域特征,如下式计算:
式中,MAN为绝对平均值;WL为波形长度;ZC为过零点数;SSC为斜率变化率;sgn(x)为符号函数;n为sEMG信号的长度, xi为i时刻所采集的sEMG的信号值;
sEMG的6个模型参数,如下式计算:
式中,P(k)为sEMG序列;m为自回归模型AR的阶数;aj为第j个自回归系数;e(k)为高斯白噪声;
AUS波形对于表示肌肉的形态学信息至关重要,因为AUS表征的是信号回波能量与执行肌肉深度之间的映射关系;因为超声信号的特性使得信号会随着时间衰退,因此在AUS的预处理过程中需要进行额外的时间增益补偿;AUS进行的是KB特征提取;对于每一帧的AUS数据进行N段线性拟合,如下式计算:y=kx+b (4)
式中,k为拟合直线的斜率,b为拟合直线的在y轴上的截距;N段线性拟合直线组合成的形状可以近似表达所采集的AUS信号;
S4:sEMG和AUS的特征融合;为充分发挥两种单一模态信号sEMG和AUS的各自优势,在上述sEMG和AUS的特征提取后进行特征融合,从而形成一种具有sEMG和AUS各自优势的多模态生物信号;为保留特征的有效信息以及降低所需计算消耗,在特征融合后进行特征降维;为避免个别特征对最终效果的影响,在特征降维后进行特征归一化;
S41:sEMG和AUS的特征融合;特征提取后,每一帧的sEMG特征维度是10nc,每一帧的AUS特征维度是2Nnc;经过上述sEMG和AUS的特征提取,将形成sEMG的TD-AR6特征空间VsEMG和AUS的KB特征空间VAUS,并将两者的特征空间进行组合,实现sEMG和AUS的特征融合,形成多模态生物信号空间V,空间V的每一帧特征维度为(10+2N)nc;
S42:sEMG和AUS的融合特征降维;为避免sEMG和AUS的融合特征维度过高,使用主成分分析法(PCA)进行降维操作;将空间V的每一帧特征维度降至Ndim,之后需要验证信号在Ndim维的主成分所占的信息量的比例η是否在95%以上;
S43:sEMG和AUS的特征归一化;在完成sEMG和AUS的融合特征降维后,在保证数据的数值排序的前提下,为避免个别特征因为其数值过大带来的局部影响,使用Min-Max归一化进行处理,如下式计算:式中,Xmin为集合中的最小值;Xmax为集合中的最大值,xi为集合中的第i个数值;xi'集合中的第i个数值在Min-Max归一化处理后的数值;
S5:sEMG和AUS的模型构建;使用非线性映射算法将低维的样本转化为高维特征空间,后采用线性算法对其分类;非线性映射算法,包括线性核函数、多项式核函数、高斯核函数以及Sigmoid核函数,如下式;
k(x,xi)=x·xi (6)
k(x,xi)=((x·xi)+1)d (7)
k(x,xi)=tanh(η
确定合适的核函数后,构建SVM分离器,将完成归一化的融合信号的特征组合作为输入,经过所构建的SVM分离器,将得到手势识别的准确率。
2.如权利要求1所述的一种融合sEMG和AUS的手势识别方法,其特征在于:步骤S2中,sEMG的采集频率为1kHz;AUS的帧率为10Hz,每帧的采样点数为1000;式(1)中a的默认值为
0.5;b的默认为3。