欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021110985353
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征融合注意力模块和特征选择的手势图像分类方法,其特征在于:包括如下步骤:步骤1)使用ASL开源手语数据集中的手势图像作为原始手势图像,并获取原始手势图像的类别标签,对原始手势图像进行尺寸归一化处理,将经过尺寸归一化处理后的手势图像分为训练集和数据集;

步骤2)构建卷积神经网络,卷积神经网络包括高阶特征提取模块、低阶特征提取模块、特征融合注意力模块、SK‑Net模块和Softmax分类器;

步骤3)将步骤1)的训练集和数据集输入卷积神经网络进行训练;

3.1)高阶特征提取模型和低阶特征提取模块分别提取输入图像的高阶特征和低阶特征,获得高阶特征张量和低阶特征张量;

3.2)将高阶特征张量与低阶特征张量同时输入特征融合注意力模块中;特征融合注意力模块包括低阶特征增强模块、高阶特征增强模块和高低阶特征同步增强模块;

3.3)将高低阶特征融合后的特征张量输入到SK‑Net模块中,得到特征选择后的特征张量;

3.4)将特征选择后的特征张量输入Softmax分类器中进行分类,得到手势图像的分类结果;

步骤4)将待分类的手势图像输入步骤3)训练好的卷积神经网络中进行手势图像分类,得到分类结果;

所述步骤3.2)具体为:

3.2.1)通过低阶特征增强模块分别增强低阶特征的图像边界特征与关键特征,并进行特征组合;通过高阶特征增强模块直接增强高阶特征的特征信息;

3.2.2)通过高低阶特征同步增强模块处理后得到高低阶特征融合后的特征张量;

所述步骤3.2.2)中:

高低阶特征同步增强模块包括两个最大池化层和三个卷积层;低阶特征增强模块输出的优化后的低阶特征张量依次经第四最大池化层和第五最大池化层输入第十八卷积层,第四最大池化层和第五最大池化层对优化后的低阶特征张量进行两次空间压缩;高阶特征增强模块输出的增强后的高阶特征输入第十九卷积层;

将第十八卷积层和第十九卷积层输出的特征通过乘法进行特征融合后输入第二十卷积层,第二十卷积层的输出分别与第五最大池化层和第十七卷积层的输出相加后分别得到同步增强的低阶特征与高阶特征;将同步增强的低阶特征与高阶特征相加后得到最终的输出结果,即为特征融合注意力模块的输出结果。

2.根据权利要求1所述的一种基于特征融合注意力模块和特征选择的手势图像分类方法,其特征在于:所述步骤3.1):高阶特征提取模型采用基于ImageNet训练的VGG16卷积神经网络作为迁移学习模型,将迁移后的VGG16中用于分类的最后一层全连接层进行冻结,使用VGG16中第十五层卷积网络输出的特征作为高阶特征;

低阶特征提取模块具体采用Resnet50模型中依次连接的Conv_Block模块和Identity_Block模块。

3.根据权利要求1所述的一种基于特征融合注意力模块和特征选择的手势图像分类方法,其特征在于:所述步骤3.2.1)中低阶特征增强模块包括边缘特征增强模块和关键特征增强模块;

边缘特征增强模块包括一个归一化层和两个卷积分支;低阶特征提取模块输出的低阶特征输入第十一归一化层,第十一归一化层分别输入两路分支,每路分支均由两个依次连接的卷积层组成,两路分支输出的特征张量相加后输出得到边缘特征增强后的低阶特征张量;

关键特征增强模块包括一个卷积层和四个最大池化层;边缘特征增强后的低阶特征张量经第十六卷积层输入第二最大池化层,第十一归一化层输出的特征经第三最大池化层与第二最大池化层输出的特征相加后得到关键特征增强后的低阶特征张量。

4.根据权利要求1所述的一种基于特征融合注意力模块和特征选择的手势图像分类方法,其特征在于:所述步骤3.2.1)中:高阶特征增强模块包括一个最大池化层和一个卷积层,高阶特征提取模型输出的高阶特征经第六最大池化层输入第十七卷积层,第十七卷积层输出的特征为增强后的高阶特征。

5.根据权利要求1所述的一种基于特征融合注意力模块和特征选择的手势图像分类方法,其特征在于:所述步骤3.3)中的SK‑Net模块包括依次相连的特征分离模块、多通道融合模块和特征选择模块;将包含高低阶特征的特征张量输入到SK‑Net模块中;

1)特征分离模块包括一个卷积层和一个空洞卷积层,特征融合注意力模块输出的高低阶特征融合后的特征向量分别输入第二十一卷积层和空洞卷积层得到分离特征张量 和分离特征张量 第二十一卷积层使用3×3的卷积核,空洞卷积层使用3×3的卷积核,膨胀系数为2;

2)多通道融合模块包括一个全局平均池化层和一个全连接层;将特征分离模块得到的两个分离特征张量相加后输入依次连接的全局平均池化层和第一全连接层,第一全连接层输出的融合特征为多通道融合模块的输出结果;

3)特征选择模块包括一个全连接层和一个激活层;多通道融合模块输出的融合特征输入第二全连接层,得到紧凑特征z,紧凑特征z输入第九激活层,第九激活层为softmax激活函数;

通过softmax激活函数分别得到权重矩阵ac和权重矩阵bc,具体通过以下公式进行设置:ac=softmax(z)

bc=softmax(z)

其中,softmax(x)是激活函数,x为激活函数的输入变量,A和B是形状和紧凑特征z相同的随机实数矩阵,Ac和Bc分别对应A和B的第c行;由于A和B是随机的,所以ac和bc是通过同一个激活函数得到的不同权重矩阵;

再将得到的权重矩阵ac和权重矩阵bc分别与分离特征张量 和分离特征张量 相乘得到特征选择后的特征张量V,即得SK‑Net模块的最终输出;具体通过以下公式进行设置:ac+bc=1。