欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021105664795
申请人: 西安建筑科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种利用弱监督区域推荐的车辆重识别方法,其特征在于,包括以下步骤:S1、获取车辆图像数据,并将车辆图像数据设置为同一大小,分别构建车辆重识别训练集T、查询集Q与图库集G,对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作;

S2、设计弱监督区域推荐网络模型结构,包括骨干网络,全局分支网络和局部分支网络,采用批量训练方法将步骤S1得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi,将特征映射Fi输入至全局分支网络和局部分支网络,获取全局特征和多尺度局部特征;

构建局部分支网络具体为:

构建局部区域推荐模块用于获取车辆图像中具有辨识度的局部特征,局部区域推荐模i块包含具有三层特征金字塔结构的卷积层,通过对特征映射F 进行连续的空间下采样,获取目标车辆在不同空间分辨率的多尺度特征;利用滑动窗口在多尺度特征上生成不同大小和长宽比的锚框;设计两层卷积层用于计算锚框所提取的区域特征的信息量I,并使用非极大值抑制技术剔除相互覆盖的区域;按照信息量大小对区域特征进行排序,提取出前3个信i息最大的区域 其对应的信息量分别为 对F 按照区域 执行

感兴趣区域对齐池化,获取3个区域不同的细粒度局部特征 进行融合以获取多尺A N P度局部特征 使用局部三元组损失L(fl ,fl ,fl)进行约束,分别增加一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取分类置信度 并计算分类损失 确保获取到的信息量大的区域 是车辆图像的关键性区域,设计区域建议损失函数L(I,C)对其进行约束,区域建议损失函数L(I,C)为:L(I,C)=∑f(Is‑Ii)

其中,函数f(x)=max(1‑x,0),Is为第s个区域的信息量,Ii为第i个区域的信息量;

S3、将步骤S1获取的车辆训练集T输入步骤S2设计的弱监督区域推荐网络模型结构中,使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练,得到训练好的弱监督区域推荐网络模型;

S4、将步骤S1获取的车辆查询集Q与图库集G输入步骤S3训练好的弱监督区域推荐网络模型,提取车辆的全局特征与局部特征,通过拼接融合的方式获取最终的特征,计算车辆查询集Q和图库集G的特征之间的余弦相似度,根据相似度大小获取车辆重识别结果。

2.根据权利要求1所述的方法,其特征在于,步骤S1中,获取多段车辆监控视频;使用预先训练的车辆检测器定位并裁剪监控视频中的车辆图像;使用人工标注方法将车辆图像中同一车辆标注为独立的标签,循环获取车辆数据集,将获取的车辆数据集划分为训练集T、查询集Q与图库集G。

3.根据权利要求1所述的方法,其特征在于,步骤S2中,构建全局分支网络具体为:使用全局平均值池化操作对特征映射Fi在长度和宽度方向上求平均值,在压缩特征分辨率的同时保留车辆的整体信息,得到全局特征描述符 然后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取特征 的分类结果pg;最后使用全局三元组损失 和全局分类损失 对全局分支进行约束。

4.根据权利要求3所述的方法,其特征在于,全局三元组损失 具体为:将一个批量B中的图像组成三元组IA,IN,IP输入至全局分支,获取其全局特征描述符后计算三元组损失:其中, 分别表示组成三元组的源样本、负样本和正样本的全局特征向量,和 分别代表正样本对和负样本对的欧式距离,m代表三元组损失的间距阈值,[·]+代表取正值。

5.根据权利要求3所述的方法,其特征在于,全局分类损失 具体为:其中,pg为分类结果预测值, 为分类结果真值,n为批量大小。

A N P

6.根据权利要求1所述的方法,其特征在于,步骤S2中,局部三元组损失L(fl ,fl ,fl)为:A N P A P A N

L(fl,fl,fl)=[d(fl,fl)‑d(fl,fl)+m]+局部分类损失 为:

对于单张图片,总局部分类损失为

7.根据权利要求1所述的方法,其特征在于,步骤S3中,车辆重识别网络模型的损失函数L为:A N P

其中, 为全局三元组损失,L(fl ,fl ,fl)为局部三元组损失,L(I,C)为区i域建议损失函数, 为全局分类损失,L(fl)为局部分类损失。

8.一种利用弱监督区域推荐的车辆重识别系统,其特征在于,包括:数据模块,获取车辆图像数据,并将车辆图像数据设置为同一大小,分别构建车辆重识别训练集T、查询集Q与图库集G,对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作;

网络模块,设计弱监督区域推荐网络模型结构,包括骨干网络,全局分支网络和局部分支网络,采用批量训练方法将数据模块得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi,将特征映射Fi输入至全局分支网络和局部分支网络,获取全局特征和多尺度局部特征;

构建局部分支网络具体为:

构建局部区域推荐模块用于获取车辆图像中具有辨识度的局部特征,局部区域推荐模i块包含具有三层特征金字塔结构的卷积层,通过对特征映射F 进行连续的空间下采样,获取目标车辆在不同空间分辨率的多尺度特征;利用滑动窗口在多尺度特征上生成不同大小和长宽比的锚框;设计两层卷积层用于计算锚框所提取的区域特征的信息量I,并使用非极大值抑制技术剔除相互覆盖的区域;按照信息量大小对区域特征进行排序,提取出前3个信i息最大的区域 其对应的信息量分别为 对F 按照区域 执行

感兴趣区域对齐池化,获取3个区域不同的细粒度局部特征 进行融合以获取多尺A N P度局部特征 使用局部三元组损失L(fl ,fl ,fl)进行约束,分别增加一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取分类置信度 并计算分类损失 确保获取到的信息量大的区域 是车辆图像的关键性区域,设计区域建议损失函数L(I,C)对其进行约束,区域建议损失函数L(I,C)为:L(I,C)=∑f(Is‑Ii)

其中,函数f(x)=max(1‑x,0),Is为第s个区域的信息量,Ii为第i个区域的信息量;

训练模块,将数据模块获取的车辆训练集T输入网络模块设计的弱监督区域推荐网络模型结构中,使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练,得到训练好的弱监督区域推荐网络模型;

识别模块,将数据模块获取的车辆查询集Q与图库集G输入训练模块训练好的弱监督区域推荐网络模型,提取车辆的全局特征与局部特征,通过拼接融合的方式获取最终的特征,计算车辆查询集Q和图库集G的特征之间的余弦相似度,根据相似度大小获取车辆重识别结果。