欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021115346981
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-02-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种自适应特征加权的视触融合物体分类方法,其特征在于:包括以下步骤:步骤一:将PHAC‑2数据集中的视觉图像输入到ShuffleNet V2视觉特征提取网络中提取视觉特征;将PHAC‑2数据集中的触觉信号输入到由四层一维卷积模块组成的触觉特征提取网络中提取触觉特征;

步骤二:分别将提取到的视觉特征和触觉特征输入到自适应特征加权模块,自适应特征加权模块由两个并联的通道注意力网络组成,自适应特征加权模块将视觉特征和触觉特征自适应加权融合,得到视触融合特征向量;

步骤三:将得到的视触融合特征向量输入到全连接层进行分类输出,分别得到物体的类别和物体的物理属性。

2.根据权利要求1所述的自适应特征加权的视触融合物体分类方法,其特征在于:所述步骤一中,视觉图像经过ShuffleNet V2视觉特征提取网络提取特征后,在ShuffleNet V2视觉特征提取网络的最后一层输出长度为[10,1024*7*7]的视觉特征向量,10为batch_size。

3.根据权利要求1所述的自适应特征加权的视触融合物体分类方法,其特征在于:所述步骤一中,触觉信号经过触觉特征提取网络提取特征后,PHAC‑2数据集中的多个一维触觉信号在卷积神经网络的最后一层输出长度为[10,64*17]的触觉特征向量,10为batch_size。

4.根据权利要求1所述的自适应特征加权的视触融合物体分类方法,其特征在于:所述步骤二中,自适应加权融合实现过程是将视觉特征向量X1输入到通道注意力模块中,通道注意力模块对视觉特征向量X1的每个通道进行全局平均池化,得到降维后的特征矩阵,然后根据1*1卷积的降维因子r继续降维然后升维,视觉特征向量由原始的1024*7*7维降为

1024*1*1维,然后将降维之后的视觉特征向量和原始的视觉特征向量X1通过矩阵相乘得到权重矩阵X1’,最后将权重矩阵X1’和原始的视觉特征向量X1通过矩阵相加得到加权之后的视觉特征向量X1”;将触觉特征向量X2输入到通道注意力模块中,首先经过GAP对原始特征矩阵进行降维,然后经过1*1卷积的先降维再升维,触觉特征向量X2由原始的64*17维降为

64*1维,然后将降维后的触觉特征向量和原始触觉特征向量X2进行矩阵乘法得到触觉权重矩阵X2’,最后将触觉权重矩阵X2’和原始触觉特征向量X2进行矩阵加法得到加权之后的触觉特征向量X2”;对加权之后的视觉特征向量X1”进行全局平均池化处理,然后再进行reshape操作,视觉特征向量X1”由[10,1024*7*7]维变为[10,1024]的一维视觉特征向量;

对加权之后的触觉特征向量X2”进行reshape操作,触觉特征向量X2”由[10,64*17]维变为[10,1088]的一维触觉特征向量,最后使用Contact将一维视觉特征向量和一维触觉特征向量进行拼接,得到维度为[10,2112]的一维视触融合向量,10为batch_size。