欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202010418961X
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于融合信息的外卖人员身份识别方法,其特征在于包括如下步骤:步骤(1)使用特征提取主干网络模块、特征融合模块、多尺度信息提取模块和空间注意力机制模块,构建深度学习网络MFCNet;

步骤(2)在PASCALVOC数据集上对深度学习网络MFCNet进行预训练,得到预训练识别模型;

步骤(3)对外卖人员身份特征信息图片进行收集并标识;收集的身份特征信息图片包括:外卖电动车、外卖logo、外卖箱和外卖服装;使用收集的数据集对步骤(2)中的预训练识别模型进行进一步训练,得到最终的检测模型;

步骤(4)将测试图片输入最终的MFCNet识别模型,检测出外卖电动车、外卖logo、外卖箱和外卖服装所属类别,对检测结果进行综合判断,以得出外卖人员身份类别。

2.根据权利要求1所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤(1)所述构建深度学习网络MFCNet,具体实现过程如下:

1.1使用VGG16作为主干网络用于得到主干网络特征图,称之为特征提取主干网络模块;

1.2构建特征融合模块,首先利用1*1的卷积层,来降维浅层特征图和深层特征图的通道,使得浅层特征图和深层特征图的通道数一致;然后对将经过降维的深层特征图通过上采样放大到和浅层特征图相同的尺寸;最后利用concate操作将所有相同尺寸的浅层特征图和深层特征图连接,形成主干网络融合特征图,从而能够保证不同特征图检测的同一个目标所包含的特征区域被激活;具体过程如图2所示:

1.3将步骤1.2中获取的主干网络融合特征图和步骤1.1中获取主干网络特征图进一步融合,即将主干网络融合特征图和主干网络特征图相加形成新的特征图;

1.4将进一步融合特征图送入多尺度信息提取模块,多尺度信息提取模块使用并行的空洞卷积操作;

1.5将多尺度融合特征图送入空间注意力机制模块,提取不同空间信息,得到包含关键信息的特征图。

3.根据权利要求2所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤1.3具体实现如下:

1.3.1对主干网络特征图进行反卷积操作,使得主干网络特征图与特征融合模块输出的主干网络融合特征图具有相同的长宽,确保尺度完全一样;

1.3.2对主干网络融合特征图卷积操作,使得卷积后的主干网络融合特征图的通道数与步骤1.3.1反卷积后的主干网络特征图通道数相同;

1.3.3将经过卷积后的主干网络融合特征图与经过反卷积后的主干网络特征图进行像素级相加操作,得到新的进一步融合特征图。

4.根据权利要求3所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤1.4具体实现如下:

1.4.1利用1*1的卷积层,减少特征图的通道数以降低计算量,并加入ReLU激活函数;

1.4.2利用大小为3*3,空洞率分别为1、2、4和8,对应步长为1,2,4,8的空洞卷积来提取不同尺度的特征信息;

1.4.3将步骤1.4.2获取的不同尺度的特征信息的特征通道进行连接,用1*1的卷积核将特征通道数变换为进一步融合特征图相同的通道数,并与进一步融合特征图对应像素点进行叠加,获得叠加后的多尺度融合特征图,多尺度融合特征图既保留特征融合模块的特征,又加入了不同大小感受野的特征信息,有效改善提取较小尺寸的物体特征。

5.根据权利要求4所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤1.5具体实现如下:首先,通过全局最大池化和全局平均池化操作,沿通道维度生成两个新的特征描述,输入多尺度融合特征图为x∈Rh*w*c,其次,通过concate操作融合新的特征描述;

然后,通过一个标准的卷积操作对融合后新的特征描述进行激活,获得最终的注意力图G(x),整个注意力图提取过程描述如下所示;

其中:激活函数σ()为sigmoid函数;f3*3表示3×3的标准卷积操作。

6.根据权利要求4或5所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤(2)所述,具体实现过程如下:

2.1将上述模块组合构成深度学习网络MFCNet,设置不同步长的学习批次,处理批次设置为32;动量和权值衰减分别设置为0.9和0.0005;

2.2下载PASCAL VOC数据集,使用PASCAL VOC数据集对深度学习网络MFCNet进行训练,获得预训练模型。

7.根据权利要求6所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤(3)所述,具体实现过程如下:

3.1对外卖人员身份特征信息进行收集并标识;收集的身份特征信息包括:外卖电动车、外卖logo、外卖箱和外卖衣服,并进行相应的标记,做成数据集,标识规则如表1所示:表1标识规则

3.2将2.2中预训练模型进行进一步训练,得到最终的MFCNet识别模型。

8.根据权利要求7所述的一种基于融合信息的外卖人员身份识别方法,其特征在于步骤(4)所述,具体实现过程如下:

4.1将测试图像输入到深度学习网络识别模型MFCNet中,获得多目标结果;

4.2将测试图像输入到最终的MFCNet模型中,获得多目标结果;

4.3通过对多个目标信息的综合判断,判断外卖人员身份:

外卖电动车、外卖logo、外卖箱和外卖衣服对结果的影响权重是不同的;设置目标信息分值为1,目标信息权重有外卖电动车为0.2,外卖Logo为0.4,外卖衣服为0.2,外卖箱为

0.2;输出所属公司分值最大的,则为该公司外卖员。