1.一种基于多模态交互技术的机器人远程控制系统,其特征在于:包括用于控制从端机器人系统的主端多模态交互控制系统,所述主端多模态交互控制系统包括主端微处理器,图像处理单元,红外摄像单元,图像显示单元,视觉伺服控制单元,无线网络通信单元,语音交互单元,模式选择按钮,主端微处理器分别与图像处理单元,红外摄像单元,图像显示单元,视觉伺服控制单元,无线网络通信单元,语音交互单元,模式选择按钮连接,所述的图像处理单元用于提取人的眼动信息,并计算出人的瞳孔中心的位置,确定瞳孔中心运动范围,建立起瞳孔运动范围与图像显示单元的图像显示区域的映射关系;
红外摄像单元用来拍摄人的眼动特征信息,并把所拍摄的图像传输给图像处理单元进行眼动特征的提取与处理;
图像显示单元用于显示经图像处理单元处理后的场景中的图像信息;
视觉伺服控制单元用于根据图像特征误差获得机器人的机械臂各关节期望关节变量;
无线网络通信单元用于从端机器人系统与主端多模态交互控制系统进行通信;
语音交互单元用于发送和接收语音指令;
模式选择按钮用于选择设备工作状态;
主端微处理器用来处理各个单元及模式选择按钮发送来的指令与信息,并把处理后的结果按需发送回各个单元及模式选择按钮。
2.一种基于多模态交互技术的机器人远程控制方法,其特征在于,S1:通过模式选择按钮把模式选择按钮拨动到“运行”档位,建立主端多模态交互控制系统和从端机器人系统的无线网络通道,系统开始正式工作,并给予操作者语音提示;
S2:主端多模态交互控制系统开始获取机器人拍摄的图像,并通过图像显示单元进行显示;
S3:当听到主端多模态交互控制系统接收到开始选取跟踪目标的语音提示时,红外摄像单元开始不断获取操作员的眼球信息;
S4:采集操作员的语音指令,判断是否把注视点 作为待跟踪目标点,若是,则执行下一步;若否,则返回步骤S3;
S5:开启目标检测算法对此注视点 进行图像处理,统计该幅图像的所有像素点信息,建立局部颜色直方图 ,建立和计算基于该注视点的邻域相似性指标quota,从而识别和分割出与该注视点邻域相似的目标区域;
S6:计算目标区域的最左横坐标、最右横坐标、最上纵坐标和最下纵坐标,确定包裹目标区域的最小矩形;
S7:开启目标跟踪算法,并将S6中的最小矩形作为初始跟踪区域输入给目标跟踪算法,在跟踪目标过程中,实时计算该矩形边框的中心点坐标,记作特征点 ;
S8:将得到的图像特征点 与图像中心坐标 作比较,得到两者之间的一个误差,形成反馈信号,定义为图像特征误差 ;
S9:视觉伺服控制单元接收到图像特征误差 之后,以误差均方差为目标函数,对于固定采样周期,使得目标函数最小化,可得:其中, ,为复合图像雅各比矩阵,即 ,其中,为图像雅各比矩阵,为机械臂雅各比矩阵;
S10:目标函数最小化后,得到使得以误差均方差最小化为目标函数的机器人下一时刻的期望关节变量 :
;
S11:将机器人下一时刻的期望关节变量 通过无线网络发送给从端机器人模块的滑模控制器,通过基于计算力矩法的滑模控制算法,计算各个关节需要的力矩 ;
S12:将步骤S10得到的各关节力矩 传输到从端机器人模块的关节驱动器,驱动机器人朝着目标物体运动;
S13:采集操作员语音指令并判断是否开启武器装置,若是,则发起攻击,执行步骤S14;
若否,则进一步采集操作员语音指令并判断是否取消目标;若是,则返回S3;若否,则返回S7;
S14:采集操作员语音指令判断是否结束,若是,则任务结束;若否,则返回步骤S3。
3.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法,其特征在于,进入S1的运行模式之前,需要对主端多模态交互控制系统进行校准,校准步骤如下:步骤1:拨动模式选择按钮到“校准”档位,开启校准程序,准备校准操作;
步骤2:开启红外摄像单元,当听到语音交互单元发出的语音提示后,人眼不断移动,红外摄像单元开始不断获取人的眼动信息,并通过一种瞳孔中心定位算法实时检测瞳孔中心的图像坐标;
步骤3:听到人机交互单元发出的语音提示后,开始让眼球根据语音提示移动,进而确定瞳孔中心运动范围;
步骤4:瞳孔中心运动范围确定后,建立瞳孔中心运动范围与图像显示单元的图像显示区域的映射关系。
4.根据权利要求3所述的基于多模态交互技术的机器人远程控制方法,其特征在于,所述步骤2中瞳孔中心定位算法的具体步骤为:步骤21:对采集到的眼部图像进行预处理,首先,采用平均值法对眼部图像进行灰度化处理;然后,采用NL‑Means算法对灰度化处理后的可能带有噪声干扰的眼部图像进行去噪处理;
步骤22:采用多大津算法对灰度化后的眼部图像进行二值化的处理,经多大津算法分割后便可得到比较精确的分割结果;
步骤23:对分割过后的眼部图像进行预过滤处理,由于组成瞳孔轮廓的像素点在一定范围内,利用这个已知条件可以对眼部图像的所有瞳孔轮廓进行筛选,当某个瞳孔轮廓的像素点在给定范围内时,则选为备用;当某个瞳孔轮廓的像素点不在给定范围内时,则过滤掉该轮廓;
步骤24:如果没有选为备用的瞳孔轮廓,则返回步骤21;如果有且仅有一个选为备用的瞳孔轮廓,则利用瞳孔中心定位算法对该瞳孔轮廓进行拟合,求解拟合过后的瞳孔轮廓的各个参数,计算瞳孔轮廓的中心;如果选为备用的瞳孔轮廓的数量超过一个,则执行下一步;
步骤25:利用瞳孔中心定位算法分别对每一个瞳孔轮廓拟合,将拟合得到的每个瞳孔轮廓的中心与对应瞳孔轮廓上各点进行标准差的计算,将计算得到的最小标准差的那个瞳孔轮廓作为最终的瞳孔轮廓,最终的瞳孔轮廓的中心作为瞳孔轮廓的中心。
5.根据权利要求3所述的基于多模态交互技术的机器人远程控制方法,其特征在于,步骤3中,确定瞳孔中心运动范围的具体步骤包括:步骤31:当听到语音交互单元的语音提示发出开始眼动范围检测超过预定秒数后,主端多模态交互控制系统开始不断发出眼动范围检测指令;
步骤32:当听到语音交互单元的语音提示发出请注视图像左上方的指令后,操作员眼球开始往最左上方移动,当注视停留在最左上方时间超过预定秒数后,则系统把人眼所能看到的最左上方的像素点视为注视点,并把对应的瞳孔中心图像坐标记为 ;
步骤33:当听到语音交互单元的语音提示发出请注视图像左下方的指令后,操作员眼球开始往最左下方移动,当注视停留在最左下方时间超过预定秒数后,则系统把人眼所能看到的最左下方的像素点视为注视点,并把对应的瞳孔中心图像坐标记为 ;
步骤34:当听到语音交互单元的语音提示发出请注视图像右下方的指令后,操作员眼球开始往最右下方移动,当注视停留在最右下方时间超过预定秒数后,则系统把人眼所能看到的最右下方的像素点视为注视点,并把对应的瞳孔中心图像坐标记为 ;
步骤35:当听到语音交互单元的语音提示发出请注视图像右上方的指令后,操作员眼球开始往最右上方移动,当注视停留在最右上方时间超过预定秒数后,则系统把人眼所能看到的最右上方的像素点视为注视点,并把对应的瞳孔中心图像坐标记为 ;
步骤36:统计计算瞳孔中心朝四个方向运动后的图像坐标,计算人眼所能观察到的图像的范围,记为 ,其中 表示长度,表示宽度。
6.根据权利要求5所述的基于多模态交互技术的机器人远程控制方法,其特征在于,步骤4中建立瞳孔中心运动范围 与图像显示单元的图像显示区域 的映射关系,即视线点坐标提取算法的方法,具体为:步骤41:在瞳孔中心运动范围 内及边界上均匀确定100个像素点的坐标 ,其中 1,2,3...100;
步骤42:在图像显示单元的图像显示区域 内及边界上均匀确定100个对应的像素点坐标 ,其中 1,2,3...100;
步骤43:利用线性拟合算法对这100对坐标数据进行线性拟合,确定瞳孔中心运动范围与图像显示单元的图像显示区域 对应坐标的函数关系式:其中, , 根据不同的用户以及系统初始化阶段进行设定;
步骤44:根据事先确定好的12个选取的坐标点与对应的12个坐标点的操作员的瞳孔中心图像坐标建立误差函数:
,其中, ,
建立如下需要满足的条件:
;
步骤45:利用步骤44的条件,求解方程中各项的系数的最优值,得到各项系数的最优值后,便得到瞳孔中心运动范围 与图像显示单元的图像显示区域 对应坐标的函数关系,记为视线点坐标提取算法。
7.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法,其特征在于,所述S5中的目标检测算法,具体为:S501:选择RGB彩色空间作为该算法的颜色空间;
S502:建立基于注视点 处的局部颜色直方图 ,该直方图表示的是基于彩色图像RGB空间的三个颜色分量;
S503:统计关于 点的 近邻域的颜色特征;像素点 的 近邻域定义为,,其中, 为图像中的两个近邻像素点;根据同一区域像素点之间的相似性大于不同区域像素点之间的相似性这个规则选取种子点,建立基于注视点 的邻域相似性指标quota,定义为:其中, 表示集合 中所有元素的数目,其中, 为像素点 的局部颜色直方图, 为像素点 与像素点之间的欧氏距离,为设定的像素点颜色特征变化的阈值,为大于0的某一正数;
S504:当quota≥0.5时,认为像素点 附近颜色变化缓慢,属于目标物体内部,当quota<
0.5时,认为像素点 周围颜色变化迅速,属于目标物体与背景之间的过渡区域;
S505:把quota≥0.5的像素点作为种子点,得到的所有种子点在 近邻域内都具有生长的能力,把所有的像素点的相似性度量值小于 的点归为一类,而不同目标的种子点会被两目标边缘点隔离,不会分为一类;
S506:得到生长完成的图像之后,分割和识别出基于该注视点邻域的目标物体的区域。
8.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法,其特征在于,在S6中确定包裹目标区域的最小矩形的方法,具体为:S601:提取并计算目标物体区域的最左边区域的像素点,记为 ;
S602:提取并计算目标物体区域的最下边区域的像素点,记为 ;
S603:提取并计算目标物体区域的最右边区域的像素点,记为 ;
S604:提取并计算目标物体区域的最上边区域的像素点,记为 ;
S605:得到四个目标物体区域的最左,下,右,上的像素点之后,计算并记录该目标最左、右像素点之差,即 ,作为该目标物体区域的最小长度,记为 ;计算并记录该目标最上、下像素点之差 ,作为该目标物体区域的最小宽度,记为 ;记包含该目标物体区域的最小范围为 ;
在S7中跟踪目标过程中,实时计算该矩形边框的中心点坐标的方法,具体为:S701:计算该最小矩形边框的左上角的像素点,记为 ;
S702:计算该最小矩形边框的左下角的像素点,记为 ;
S703:计算该最小矩形边框的右下角的像素点,记为 ;
S704:计算该最小矩形边框的右上角的像素点,记为 ;
S705:计算该最小矩形边框的中心点坐标 ,作为该目标物体的图像特征点 ,即 ;
其中, , 。
9.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法,其特征在于,在S9中的以误差均方差 为目标函数的最小化方法,具体为:S901:定义误差均方差 目标函数,将目标函数展开为关于微小增量 的泰勒级数:
其中,为关节角增量,为时间增量;
S902:略去上式右端高阶项,对于固定采样周期,使得目标函数最小化的条件为:令 ,其中 为复合雅各比矩阵,即 ,其中,为图像雅各比矩阵,为机械臂雅各比矩阵;
可得 中各项为:
;
S903:当关节角增量为 时,目标函数将沿期望方向变化,也即:其中 时刻期望关节角增量;
综上,
令 ,可得:
;
S904:忽略掉 项后,我们得到基于高斯牛顿法的加入比例因子的控制律:其中, 可以用 表示,称为复合图像雅可比矩阵的Moore‑Penrose伪逆,且有, 为加入的比例因子。
10.根据权利要求9所述的基于多模态交互技术的机器人远程控制方法,其特征在于,在S9中复合图像雅各比矩阵的求取涉及到一种眼在手机器人无标定视觉伺服控制的复合图像雅可比矩阵的Broyden在线更新方法,该方法只在初始时刻计算复合图像雅克比矩阵,其后在每一步迭代过程中更新雅可比矩阵,具体为:S911:对于眼在手机器人无标定视觉伺服控制系统,设该系统在 时,达到期望位置附近,将误差 在 展开为泰勒级数:;
S912:因为在期望点附近,复合图像雅各比矩阵已经近似趋于不变了,所以可用上式计算系统在前一时刻的系统误差,即:S913:省略掉高阶项,可得:进一步合并整理得:
其中,
;
S914:将式:
等式的两边分别减去:
得:
即:
转置以后,整理得:
;
S915:对于图像特征差 给定初始关节角 ,初始复合雅可比矩阵 ,给出基于动态Broyden法雅各比矩阵在线更新算法:。