1.基于单目视觉与运动想象的飞行器三维空间目标搜索系统,其特征在于,包括:单目视觉导航子系统:用于获取飞行器的实时前视环境障碍数据,估计可行飞行方向,并通过COM接口将数据传输至飞行器的主飞行控制板;
决策子系统:根据分析采集至15导联的左手、右手、双脚与舌部4种运动想象MI任务的脑电EEG特征而建立,其采用共空间模式CSP方法完成特征提取,采用分层支持向量机HSVM方法完成特征分类与决策,PC端地面控制系统将最终决策转换为控制指令通过WIFI传输至飞行器;
飞行器:根据PC端地面控制系统的控制指令工作,并将实时获取的前视图像、捷联惯性导航系统的实时定位信息、单目视觉导航子系统获取的实时环境障碍数据回传输至PC端地面控制系统;
捷联惯性导航系统:用于通过气压计、陀螺仪、加速度计与磁力计获取飞行器的瞬时惯性导航数据,并通过SPI接口将数据传输至飞行器的主飞行控制板;
WIFI与视频模块:用于飞行器与PC端地面控制系统之间的控制指令传输以及将获取的飞行器前视图像通过WIFI传输至PC端地面控制系统;
PC端地面控制系统:用于对飞行器远程控制,根据飞行器实时获取的前视图像、单目视觉导航子系统获取的实时环境障碍数据,通过决策子系统的运动想象脑电EEG信号控制飞行器;
被试者使用手动方式控制飞行器起飞与降落;飞行过程中,单目视觉导航子系统自动提供三维可行飞行方向;被试者在决策子系统中使用左手左旋、右手右旋、双脚上升与舌部下降四种MI任务完成可行飞行方向选择;若被试者选择某个可行飞行方向,则其被设置为飞行器后续自主飞行方向;若被试者未选择提供的可行飞行方向,即5s内未执行任何MI任务,其必须独自执行MI任务控制飞行器,即放松状态控制飞行器前向飞行;执行MI任务时,飞行器悬停;决策子系统每间隔30ms发送控制指令,持续2s时间,若飞行器后续2s内未接收到控制指令,将悬停并等待接收控制指令;
飞行器的主飞行控制板、捷联惯性导航系统与单目视觉导航子系统叠放在飞行器的旋翼支架交汇处,即飞行器的理论质心位置;
采用所述的系统实现的基于单目视觉与运动想象的飞行器三维空间目标搜索方法,包括以下步骤:步骤1)被试者使用手动方式起飞飞行器,PC端地面控制系统向飞行器发送起飞控制指令;
步骤2)捷联惯性导航系统实时获取飞行器的瞬时惯性导航数据,并将数据传输至多旋翼飞行器的主飞行控制板;
步骤3)单目视觉导航子系统获取飞行器的实时前视环境障碍数据与估计可行方向,并将数据传输至飞行器的主飞行控制板;
前视环境障碍数据与估计可行方向方法如下:
单目视觉导航子系统采用62°视场范围,采用SIFT算法提取关键点;
单目视觉导航子系统采用的障碍检测方法主要包含三部分:①SIFT算法获取所有关键点即相应描述;②Brute‑Force算法匹配特征点并优化;③通过比较匹配关键点尺寸大小与感兴趣目标“凸点”面积大小比率的变化估计障碍物及其位置;该检测方法不建立障碍物的
3D模型与计算障碍物深度,仅通过判断连续图像中可能存在障碍物的尺寸比率变化实现;
尺寸比率的建立是通过检测特征点直径的改变来实现,“凸点”面积也是通过这些特征点建立的;若尺寸比率超过阈值,则表示检测到障碍物;
特征检测与描述
单目视觉导航子系统采用SIFT算法提取所有关键点,并从连续两帧图像中得到关键点描述向量,即每个关键点的位置(x,y)与尺寸;然后,使用Brute‑Force算法匹配该连续两帧图像中的关键点,并得到匹配关键点间的最小距离;如果匹配关键点的最小距离比率大于经验阈值,则将其剔除以提高匹配精度;最后,在剩余的匹配关键点中,将当前时刻帧图像中的关键点与前一时刻帧图像中相应的关键点比对:如果尺寸增大,则返回相应的匹配关键点位置,否则剔除;最终得到的匹配关键点格式定义为:mkp(i)=(x,y,s) (1)式(1)中,mkp(i)为最终得到的匹配关键点,i为匹配关键点的索引,s为关键点直径;
感兴趣目标
用于估计飞行器前方出现障碍物的可能性;依据特征检测与描述中得到的最终匹配关键点,障碍检测方法可以在两个连续帧图像中分别得到两个由多个“凸点”组成的不规则多边形,进而得到“凸点”面积大小比率;
定义不规则多边形为:
式(2)中,λi为分配给关键点mkp(i)∈N的非负权重,且 该不规则多边形的面积可以描述为:式(3)中,x(1:n)与y(1:n)为不规则多边形顶点,n为多边形边数;因此,最终匹配关键点大小比率ratio(mkp)与“凸点”面积大小比率ratio(C)分别可以描述为:将式(4)与式(5)作为感兴趣目标是否为障碍物的判断准则,其表述为:
ratio(mkp)≥1.2∧ratio(C)≥1.7 (6)Plx为视场坐标系中估计障碍的x轴最小值,Prx为估计障碍的x轴最大值,Puy为估计障碍的y轴最大值,Pdy为估计障碍的y轴最小值;碰撞区域四周为预估安全飞行区域,描述为:Z右=[(Prx,Puy),(ROIw,Puy),(Prx,Pdy),(ROIw,Pdy)]Z上=[(Plx,0),(Prx,0),(Plx,Puy),(Prx,Puy)]Z下=[(Plx,Pdy),(Prx,Pdy),(Plx,ROIh),(Prx,ROIh)] (7)式(7)中,ROIh与ROIw分别表示62°的视场范围的高与宽;
为保证飞行器飞行安全,单目视觉导航子系统定义四旋翼飞行器与安全区域左/右的最小安全距离Slr与安全区域上/下的最小安全距离Sud分别为:Slr=飞行器宽度+40cm
Sud=飞行器高度+40cm (8)
如果预估计安全区域范围大于定义的最小安全距离,则单目视觉导航子系统将相应的预估计安全区域选择为可飞行方向;最终将预估计安全区域右与预估计安全区域上选择为可飞行方向,并提示被试者使用决策子系统选择;
步骤4)飞行器将主飞行控制板处理后的飞行姿态、惯性导航数据、提取的环境特征、估计的可行方向与前视图像通过WIFI无线传输至PC端地面控制系统;
步骤5)飞行器判断是否完成最终的目标搜索:是,则执行步骤7);否,则执行步骤6);
步骤6)飞行器依据可行飞行方向为飞行器实现三维空间半自主避障:被试者需要在决策子系统中使用MI任务完成可行飞行方向选择,直至完成最终的目标搜索;
步骤7)被试者需要手动完成飞行器降落。
2.根据权利要求1所述的基于单目视觉与运动想象的飞行器三维空间目标搜索系统,其特征在于,步骤6)包括以下步骤:步骤6‑1)判断是否遇到障碍:是,则执行步骤6‑2);否,则返回执行步骤2);
步骤6‑2)判断被试者是否选择单目视觉导航子系统提供的可行飞行方向:如果被试者选择了其中的某个可行飞行方向,执行步骤6‑3);如果被试者未选择单目视觉导航子系统提供的可行飞行方向,执行步骤6‑5);
步骤6‑3)在选择可行飞行方向过程中,飞行器保持悬停;被选择的可行飞行方向被设置为飞行器的偏航角,飞行器将沿此方向完成后续的自主飞行,决策子系统每间隔30ms发送前向飞行控制指令;
决策子系统操作方法如下:
EEG信号由NuAmps电极帽的与15导联相对应的15个电极不间断采集;Ag/AgCl电极紧贴被试者头皮上,与耳后乳突连接的电极作为参考电极;将采集到的脑电EEG信号放大,并以
250Hz的采样频率存储为数字信号;首先,将采集到的脑电EEG信号经过50Hz陷波滤波器滤除工频电源噪声;然后,经过3‑34Hz带通滤波器滤除高频噪声;最后,采用5层小波包分解分析滤波后的脑电EEG信号;
采用共空间模式CSP方法完成特征提取,采用分层支持向量机HSVM方法完成特征分类与决策,其中,提取的特征作为HSVM方法分类器的输入;在分层支持向量机分类器中分别采用4个OVR第一层与6个OVO第二层支持向量机分类器;
在第一层分类过程中:1)如果仅有1个OVR支持向量机分类器得到有效结果,则该结果为最终分类结果输出;2)如果有任意2个OVR支持向量机分类器得到有效结果,则该结果输入第二层分类过程的相应OVO支持向量机分类器,其分类结果为最终分类结果输出;3)如果有2个以上OVR支持向量机分类器得到有效结果,则4种MI任务的脑电EEG信号被输入第二层分类过程的6个OVO支持向量机分类器;如果有3个以上OVO支持向量机分类器得到同一分类结果,则将其作为最终分类结果输出;
步骤6‑4)返回执行步骤2;
步骤6‑5)被试者必须完全依靠自己通过执行MI任务控制飞行器,此时,决策子系统每间隔30ms发送前向飞行控制指令,持续时间为3s;如果飞行器在后续2s内未接收到任何控制指令,将悬停并等待接收控制指令;执行步骤6‑1)。