1.一种基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,包括脑机接口设备、控制端、表情机器人;
脑机接口设备为非植入型,包括多个传感器分别位于大脑的左右两侧的对应部位,与控制端连接,采集头皮的脑电信号、眼肌电信号以及噪声信号发送至控制端;
表情机器人,包括单片机及多个舵机,通过调节PWM的值控制舵机实现0°‑180°转动,设定不同位置舵机的转动角度控制机器人实现眼睛,眉毛,嘴巴对应的动作;
控制端,接收脑机接口设备的数据并对数据进行处理识别得到对应动作的特征信号通过串口发送给机器人上的控制板,从而使表情机器人动作。
2.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,还包括视觉采集模块,采集动作视频片段是由眉毛或嘴巴的动作采集的、可分解为多动作组合的重要动作元素;
控制端还包括构建一个眉毛‑其他元素模型,指定最可能发生的动作为眉毛动作,其余动作均为其他动作,该元素模型动作时序视觉特征包括动作含义、动作时序和视觉特征;
眉毛‑其他元素模型要求元素可被分解为多个动作,所述眉毛‑其他元素模型建模三个部分内容:步骤1.1动作含义包括嘴巴动的微笑、眨眼每个动作发生的概率,以及每个其他动作和眉毛动作同时出现的概率;
步骤1.2动作时序包括动作在元素发生过程中的先后顺序,以及动作持续时间与元素持续时间的比值;
步骤1.3视觉特征包括每个动作在运动持续过程中的梯度和光流统计特征;
步骤1.4利用动作视频及其对应的动作含义构建训练集,视频选择眨眼和微笑作为两类动作的视频集,分别从动作含义动作时序视觉特征动作含义、动作时序和视觉特征三个方面训练所述眉毛‑其他元素模型;
所述步骤1.3中要求输入的动作视频动作含义含有时间记录及元素记录,能够与视频时间相对应,针对某类型动作视频训练所述眉毛‑其他的步骤如下:步骤2.1输入一系列动作视频及其对应的动作含义,从训练语句中提取关键词,并根据训练语句的元素记录,统计每个关键词的出现概率,以及多个关键词同时出现的概率;
步骤2.2选定出现概率最大的关键词为眉毛关键词;
步骤2.3将训练语句与动作视频相对应,记录关键词出现时间,并统计关键词表示的动作持续时间与元素持续时间;
步骤2.4在关键词出现时间段计算时空兴趣点的梯度特征和光流特征,统计梯度直方图和光流直方图作为动作的视觉特征;
步骤3.输入一段的动作视频,利用训练得到的元素模型在输入视频中提取动作视频片段,并给出候选视频片段与模型的匹配度;
所述步骤3输入一段动作视频,其视频片段提取过程分为以下步骤:
步骤3.1在输入视频上分别检测眉毛动作和其他动作,得到所有动作的出现时间段;
步骤3.2以眉毛动作为基准,结合动作时序确定元素发生时间段计为候选动作视频片段;
步骤3.3在候选动作视频片段匹配元素模型,得出模型匹配度;
步骤4.将动作视频片段分类按照匹配度排序,将度较高的动作视频片段自动合成为一个动作视频。
3.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,对表情机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向表情机器人发送动作数据。
4.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,对机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向机器人发送数据;动作与标志字符对应,眨眼设置为1,微笑设为0。
5.根据权利要求4所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,控制端使用WebSocket即时通信,只需要在控制端与表情机器人通过HTTP协议实现一个握手动作后,单独建立一条TCP的通信通道进行数据的传输。
6.根据权利要求5所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,握手成功后,在原程序中加入多线程程序,启动多线程实现接收和发送多条消息;系统中根据设备传感器通道的位置对接收到的信号所对应的通道号进行了设定,每个或几个通道采集传输动作,通道顺序每一个通道的数据为一列,随着时间逐行增加。
7.根据权利要求6所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于,采集眨眼睛时位于眉毛上方的通道的信号最强,微笑时位于太阳穴上下的信号最强,采用连续小波变换提取信号及时间:α为单次眨眼、皱眉的尺度参数,τ为不同时刻的动作的平移量,Ψ(t)为基本小波,为基本小波的小波族,f(t)为原始信号;
离散小波变换(DWT):
‑α
x(n)采集到单次眨眼、皱眉信号,Ψ(2 n‑τ)是针对连续尺度参数和连续平移参数的小波族;将尺度参数和平移量离散化,在处理信号的过程中对信号进行分解,重构,进而得到单次眨眼、皱眉信号特征。
8.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于:非植入型脑机接口设备型号为Emotiv EPOC+。
9.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统,其特征在于:单片机为Arduino。