欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019113364193
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-08-07
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多特征融合的静态手势图像识别方法,其特征在于:该方法的步骤如下:

1)利用综合多要素的图像处理方法对原始的手势图像进行分割,然后对分割后的手势图像进行局部特征提取,局部特征包含Gabor特征、HOG特征和Hu矩特征;

2)将原始的手势图像转换成灰度图像,然后构建了一个双通道卷积神经网络分别提取手势图像的两个特征,将两个特征处理获得深层次特征;

所述步骤2)中,双通道卷积神经网络采用VGG网络模型和AlexNet网络模型,手势图像的灰度图像分别输入到VGG网络模型和AlexNet网络模型中输出获得各自的特征,两个特征通过级联融合的方式进行连接作为深层次特征;

3)将手势图像的局部特征和深层次特征以求和方式进行融合,获得融合特征;

4)选择Softmax分类器作为手势图像识别的分类器,将融合特征输入到分类器中分类获得不同类别的概率,以最大概率的类别作为手势图像中的手势类别识别结果;

所述的步骤1),具体步骤为:

1.1)所述输入的手势图像为RGB色彩空间,先对输入的手势图像进行转换到YCbCr色彩空间后进行肤色分割,通过线性转换从RGB色彩空间到YCbCr色彩空间转换,转换公式如下:其中,Y、Cb、Cr分别表示YCbCr色彩空间的明亮度、蓝色色度、红色色度;

1.2)然后将手势图像进行聚类,聚类采用阈值分割法,分割获得手部区域与背景区域;

1.3)通过图像去噪,依次采用中值滤波和漫水填充对手势图像进行去噪处理;中值滤波选取奇数点邻域窗口对手势图像进行滤波,滤波公式如下所示:其中,f(x,y)为中值滤波前的手势图像的像素值,g(x,y)为中值滤波后的手势图像的像素值,med为中值运算符;

中值滤波后进行二值化,再采用漫水填充算法用颜色来实现连通区域的填充;

1.4)本发明采用基于最大连通域和质心定位的方法实现手部区域的获取,手势图像中存在三个肤色区域及其他类肤色区域,利用最大连通域方法获得手势图像中的三个肤色区域,即分别为单独手臂区域、脖子区域、手‑臂区域,利用质心定位获得手‑臂区域,去除单独手臂区域和脖子区域;

1.5)提取手‑臂区域的Gabor特征、HOG特征和Hu矩特征;

所述的步骤1.4)具体步骤如下:

1.4.1)手语图像中存在三个肤色区域(单独手臂区域、脖子区域和手‑臂区域)及其他类肤色区域,手‑臂区域包括手势区域和手臂区域,肤色聚类之后手语图像中会有多个肤色区域存在,采用面积算子滤波的方法进行处理,去除小的面积区域,保留面积最大的三个区域,分别记为第一面积最大区域maxArea、第二面积最大区域secArea、第三面积最大区域thiArea,将三个区域保留,剩余其他区域用黑色填充;

1.4.2)相比手臂区域、脖子区域,手‑臂区域在手语图像的一侧,计算三个区域的质心位置,计算质心前先使用OpenCV软件工具中的moments模块计算图像的零阶矩(m00)和一阶矩(m10、m01),m10、m01分别表示一阶矩的第一参数和第二参数,然后再采用以下公式计算:其中, 分别表示质心的横坐标、质心的纵坐标;

计算获得三个肤色区域的质心位置后,取保留的三个肤色区域中质心坐标的横坐标最小/最大的肤色区域作为手‑臂区域,其余的单独手臂区域和脖子区域的两个区域根据位置确定;

所述步骤1.5)中,提取HOG特征的具体步骤如下:采用Gamma矫正法对肤色区域进行颜色空间的标准化,计算标准化之后的手势图像中每个像素的梯度,包括大小和方向,然后将肤色区域划分为若干个不重叠的子区域,子区域的尺寸为8像素×8像素,将四个子区域组成一个特征提取区间,提取每个子区域的HOG特征,然后将四个子区域的HOG特征串联作为特征提取区间的HOG特征,再将所有特征提取区间的HOG特征串联作为HOG特征向量。