欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021102975218
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于通道感知的手势图像特征融合方法,其特征在于:包括如下步骤:

1)对原始手势图像进行尺寸归一化处理,获得手势图像;

2)手势图像输入到ResNet50卷积神经网络和Mini‑ResNet卷积神经网络分别提取手势图像的高阶特征和低阶特征,分别获得高阶特征张量和低阶特征张量;

3)对高阶特征张量进行通道压缩,获得通道压缩后的高阶特征张量;对低阶特征张量依次进行空间特征增强、空间压缩和通道扩增,获得通道扩增后的低阶特征张量;

4)将通道压缩后的高阶特征张量和通道扩增后的低阶特征张量在通道维度上进行拼接融合,得到包含高低阶特征的特征张量;

5)将包含高低阶特征的特征张量输入到SE‑Net模块中,得到标定后的特征张量;

6)将标定后的特征张量输入到Softmax分类器中进行分类,得到手势图像的分类结果;

所述步骤2)中:

ResNet50卷积神经网络和Mini‑ResNet卷积神经网络均主要由多个不同的残差模块依次连接构成,残差模块主要包括两个部分,残差映射和恒等映射;在残差模块中,残差模块的输入特征张量经残差映射进行特征提取获得第一特征张量,根据第一特征张量对输入特征张量经恒等映射获得第二特征张量,第一特征张量和第二特征张量相加获得残差模块的输出特征张量,通过以下公式进行设置:H(x)=F(x)+G(x)

其中,H(*)为残差模块的输出函数;F(*)为残差映射函数;G(*)为恒等映射函数;x为残差模块的输入特征张量;

所述的残差映射中,输入特征张量经第一卷积层进行映射,得到经特征提取后的特征张量;

恒等映射中,判断残差映射的输出特征张量的通道数和输入特征张量的通道数是否相同;相同则直接以输入特征张量作为恒等映射的输出特征张量,不相同则以经第二卷积层进行恒等映射后的特征张量作为恒等映射的输出特征张量,恒等映射的输出特征张量作为残差模块的输出特征张量,通过以下公式进行设置;

其中,G(*)为恒等映射函数;Conv1×1(*)为卷积核尺寸为1×1的卷积函数;

所述Mini‑ResNet卷积神经网络主要由3个不同的残差模块依次连接构成具体为:Mini‑ResNet卷积神经网络主要由第一残差模块、第二残差模块和第三残差模块依次连接组成;

第一残差模块包括第一残差子模块、第二残差子模块、第三残差子模块和第一恒等映射模块;第一残差子模块、第二残差子模块和第三残差子模块组成第一残差模块的残差映射,第一恒等映射模块作为第一残差模块的恒等映射;第一残差子模块依次经第二残差子模块和第三残差子模块后与第一恒等映射模块相连,第一残差子模块的输出还直接输入到第一恒等映射模块,Mini‑ResNet卷积神经网络的输入作为第一残差子模块的输入;

第一残差子模块主要由第三卷积层、第一批归一化层和第一激活层依次连接组成,第二残差子模块主要由第四卷积层、第二批归一化层和第二激活层依次连接组成,第三残差子模块主要由第五卷积层和第三批归一化层连接组成,第一恒等映射模块主要由第四批归一化层和第三激活层连接组成,第一激活层的输出输入到第四批归一化层,第三激活层的输出作为第一恒等映射模块的输出;

第二残差模块包括第五残差子模块、第六残差子模块、第七残差子模块、第五卷积层和二恒等映射模块;第五残差子模块、第六残差子模块和第七残差子模块组成第二残差模块的残差映射,第二恒等映射模块和第五卷积层组成第二残差模块的恒等映射;第五残差子模块依次经第六残差子模块和第七残差子模块后与第二恒等映射模块相连,第五残差子模块的输出还经第五卷积层与第二恒等映射模块相连,第一恒等映射模块的输出作为第五残差子模块的输入;

第五残差子模块主要由第四激活层和第一最大池化层连接组成,第六残差子模块主要由第六卷积层、第五批归一化层和第五激活层依次连接组成,第七残差子模块主要由第七卷积层和第六批归一化层连接组成,第二恒等映射模块主要由第七批归一化层和第八卷积层连接组成,第一最大池化层经第五卷积层与第七批归一化层相连,第八卷积层的输出作为第二恒等映射模块的输出;

第三残差模块包括第九残差子模块、第十残差子模块、第十一残差子模块、第九卷积层和第三恒等映射模块;第九残差子模块、第十残差子模块和第十一残差子模块组成第三残差模块的残差映射,第三恒等映射模块和第九卷积层组成第三残差模块的恒等映射;第九残差子模块依次经第十残差子模块和第十一残差子模块后与第三恒等映射模块相连,第九残差子模块的输出还经第九卷积层与第三恒等映射模块相连,第二恒等映射模块的输出作为第九残差子模块的输入;

第九残差子模块主要由第六激活层和第二最大池化层连接组成,第十残差子模块主要由第十卷积层、第八批归一化层和第七激活层依次连接组成,第十一残差子模块主要由第十一卷积层和第九批归一化层连接组成,第三恒等映射模块主要由第十批归一化层和第八激活层连接组成,第二最大池化层经第九卷积层与第十批归一化层相连,第八激活层的输出作为第三恒等映射模块的输出。

2.根据权利要求1所述的一种基于通道感知的手势图像特征融合方法,其特征在于:所述步骤3)具体为:

3.1)使用第十二卷积层对高阶特征张量进行通道压缩,第十二卷积层通过以下公式进行处理:其中,S(*)为通道压缩函数; 为卷积核尺寸为1×1、输出通道为c的卷积函数;

u为输入的高阶特征张量;

3.2)对低阶特征张量依次利用空间注意力机制进行空间特征增强、利用第三最大池化层进行空间压缩和利用第十三卷积层进行通道扩增,获得通道扩增后的低阶特征张量。

3.根据权利要求2所述的一种基于通道感知的手势图像特征融合方法,其特征在于:所述步骤3.2)具体为:

3.2.1)空间特征增强中,空间注意力机制包括全局最大池化层、第一全局平均池化层和第十四卷积层;低阶特征张量分别输入到全局最大池化层和第一全局平均池化层中,全局最大池化层与第一全局平均池化层的输出在通道维度上进行拼接后输出拼接后的特征张量,低阶特征张量和拼接后的特征张量同时输入到第十四卷积层中后输出空间特征增强后的低阶特征张量,通过以下公式进行设置:其中,Sq(*)为空间特征增强函数; 为包含一个尺寸为7×7卷积核的卷积函数;GlobMaxPoolc(*)为通道维度上的全局最大池化函数;GlobAvgPoolc(*)为通道维度上的全局平均池化函数;v为低阶特征张量;

3.2.2)空间压缩中,使用第三最大池化层对空间特征增强后的低阶特征张量进行处理,输出空间压缩后的低阶特征张量,通过以下公式进行设置:其中,Q(*)为空间压缩函数; 为空间维度上步长为k的最大池化函数;s为空间特征增强后的低阶特征张量;l为空间特征增强后的低阶特征张量的长度;r为空间特征增强后的低阶特征张量的宽度;

3.2.3)通道扩增中,使用第十三卷积层对空间压缩后的低阶特征张量进行通道扩增,获得通道扩增后的低阶特征张量;

其中,E(*)为通道扩增函数; 为卷积核尺寸为1×1、输出通道为d的卷积函数;

q为空间压缩后的低阶特征张量。

4.根据权利要求1所述的一种基于通道感知的手势图像特征融合方法,其特征在于:所述步骤5)具体为:SE‑Net模块包括特征压缩模块、特征激励模块和特征重标定模块,将包含高低阶特征的特征张量输入到SE‑Net模块中,特征压缩模块、特征激励模块和特征重标定模块依次相连,包含高低阶特征的特征张量同时输入到特征压缩模块和特征重标定模块,特征重标定模块的输出作为SE‑Net模块的输出,SE‑Net模块输出标定后的特征张量;

5.1)特征压缩模块包括第二全局平均池化层,包含高低阶特征的特征张量输入到经全局平均池化处理后输出特征压缩后的特征张量;

5.2)特征激励模块主要由第一全连接层、第二全连接层、第九激活层和第十激活层依次连接组成,特征压缩后的特征张量经特征激励后输出特征激励后的特征张量,通过以下公式进行设置:Fex(z)=σ(Dense(δ(Dense(z))))

其中,Fex(*)为Excitation函数;Dense(*)为全连接函数;z为特征压缩后的特征张量;δ(*)为ReLU激活函数;σ(*)为Sigmoid激活函数;

5.3)特征重标定模块包括第十五卷积层,特征激励后的特征张量和包含高低阶特征的特征张量同时输入到第十五卷积层进行重标定,得到标定后的特征张量,通过以下公式进行设置:Fscale(f,d)=f×d

其中,Fscale(*)为Reweight函数;d为特征激励后的特征张量;f为包含高低阶特征的特征张量。