欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202111675180X
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-08-07
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于静态手势识别的机械臂远程控制方法,包括机械臂本体,所述的机械臂本体的驱动装置与机械臂控制器连接,由机械臂控制器下达命令,控制机械臂运作;所述的机械臂控制器通过无线网络或信号线与上位机信号连接,进行信号传输;其特征在于:所述的上位机信号连接有用于采集手势的摄像头,摄像头与上位机连接,将采集的图像传送至上位机,由上位机进行图像处理和识别,判定手势下达的命令;具体操作流程如下:S1:开启相机,相机开始工作,以帧数据形式采集视野范围内的图像,并将图像发送至上位机进行处理;S2:上位机对相机上传的图像进行初步处理,逐帧进行检测;检测相机上传的图像是否存在手势;若图像上出现相应的肤色,则判断为手势出现,进行下一步S3;若未出现,则返回S1,继续采集图像;S3:对图片中的手势数据进行特征提取;上位机先将带有手势的图像进行灰度处理,再对带有手势的图像进行归一化处理,然后计算图像水平和垂直方向的梯度,做方向梯度直方图特征的HOG提取,最后提取得到图片中的手部特征;对图片中的手势数据进行特征提取,具体操作步骤如下:S31:将获取的图像进行灰度化处理,包括参数信息x,y,z;其中,x,y为像素坐标,z为在(x,y)处像素的像素灰度值;S32:用伽马校正法对手势图像进行归一化处理,调节图像的对比度;S33:计算图像水平和垂直方向的梯度,梯度为向量,包括大小和方向,在HOG特征提取中,用于求取特征向量;其中包括数据Gh(x,y),Gv(x,y)和θ(x,y);Gh(x,y)为像素点在水平方向上的梯度值,Gv(x,y)为像素点在垂直方向上的梯度值,θ(x,y)为像素点的梯度方向;像素点(x,y)的梯度强度M(x,y)和方向θ(x,y)的计算公式为:M(x,y)≈Gh(x,y)+Gv(x,y);θ(x,y)=arctan(Gh(x,y)/Gv(x,y));S34:提取HOG特征;将图像压缩到28*28大小,分成36个定义块,每个定义块分成4个细胞单元,再将每个细胞单元的方向分成9段,每段20°,对每一个细胞单元的梯度强度M(x,y)和方向θ(x,y)进行权重投影,在重叠定义块内的细胞单元进行对比度归一化处理,把所有的细胞单元的特征向量串行融合即可得到HOG特征向量;将向量组成特征向量X,计算特征向量X的协方差矩阵C,对矩阵C求特征值和对应的特征向量,将特征向量对应的特征值按大小从上到下按行排列成矩阵,取前100行组成矩阵P,按下列公式获得新矩阵Y:Y=PX;其中,矩阵Y的维数为100维;S35:手部特征提取;手部特征包括三个参数,分别为:n,m,L;其中n为轮廓的凸包点数,m为轮廓的凸包缺陷数;L为圆形度;遍历轮廓每个点,通过坐标求出两个极端点A,B;连接AB,分别对上凸包和下凸包内的点求凸包,在递归中找到距离AB最远的点C,做线段AC和BC,再将AC作为极端点进行递归,依次循环,直到无法找到凸包,则最远点即为凸包顶点,轮廓的凸包点数n得出;每相邻的两个凸包点之间包含一个凸包凹陷,在求n过程中,对凸包点进行标记,得到凸包凹陷数m=n‑1;

轮廓的圆形度L由轮廓构成的面积和周长求出,分别用matalab中的bwarea( )和bwperim( )函数求出轮廓的面积S和周长C,圆形度的计算公式如下:

S36:HOG特征与手部特征归一化;求取HOG降维后的矩阵Y的特征向量α=h1,h2,…,h100,并将向量α与手部特征向量β=n,m,L进行串行融合,得到融合特征向量R=h1,h2,…,h100,n,m,L;得到最终的手部特征;S4:将提取的手势特征信息与存储的特征信息进行比对,若比对成功,则进行S5,否则返回S1;S5:机械臂根据手势映射的指令,完成相应的操作。2.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法,其特征在于:步骤1所述的相机在装机时,需要对相机先进行数值设定。3.根据权利要求2所述的一种基于静态手势识别的机械臂远程控制方法,其特征在于:所述的数值设定是结合运动帧差法与HSV肤色空间阈值限定法获取操作者的肤色数据区域,将当前帧图像与相邻帧图像做差分获取运动区域,摆动手臂,使运动区域包括手势部分的肤色区域;在获取运动区域后,将图像从RGB颜色空间转换到HSV颜色空间,采用HSV肤色模型进行阈值限定;确定肤色模型的色调H,饱和度S,明度V的范围。4.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法,其特征在于:步骤S4所述的将提取的手势特征信息与存储的特征信息进行比对,其具体操作方式为:将步骤S3提取得到的手部特征信息与在matalab中经过训练的SVM分类器进行分类和匹配,若匹配成功,则下发相应的指令给机械臂。5.根据权利要求4所述的一种基于静态手势识别的机械臂远程控制方法,其特征在于:所述下发相应的指令包括Mreset,Mpause和Mstart;其中,Mreset控制机械臂的复位,Mpause控制机械臂的暂停,Mstart控制机械臂的启动。6.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法,其特征在于:所述的上位机和机械臂控制器设置在同一个5G  CPE环境下,两者的数据传输的信息结构如下:其中,STX用于消息识别,解析;LEN记录负载信息的长度;SEQ为消息发送序列码,用于通信可靠性检验;SYS为发送该消息系统的系统ID;COMP为发送该消息系统组件的组件ID;MSG为标识该消息的种类;PAYLOAD为指令信息;CKA和CKB为消息校验位。