欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020107081185
申请人: 天津理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA),该方法具体包含以下步骤:第1、设计基于人体姿态的局部区域对齐网络;

第1.1步、提出人体部件局部区域对齐方案进一步解决遮挡问题;

对于完整行人图片,利用姿态估计得到17个人体位置关键点,分别定为眼睛、耳朵、口、肩、肘、手、臀、膝,脚,将行人在纵向上划分为5个区域,这5个区域分别为:头、躯干、上腿、下腿、脚,记作Vi,i=1、2、3、4、5,然后根据关键点缺失情况判断哪个区域被遮挡,如果被遮挡Vi等于0,未被遮挡Vi等于1;

第1.2步、利用像素级分类方案进一步解决位姿变换问题;

对每个像素点通过softmax分类器进行分类,其中总的类别数为第1.1步得到的5个区域类别;对每个行人图片对应区域作softmax分类,类别数为训练集中对应行人数;利用第

1.1步所得到的Vi信息计算query与gallery欧式距离,即计算部分行人图片可见块与完整行人图片对应块之间距离;在基础网络的选择方面,选择Resnet作为该步骤网络模型backbone;

第1.3步、在第1.2步基础上计算交叉熵损失和欧式距离:

a.训练过程中每个像素点作分类的交叉熵损失,其中类别标签为第1.1步所对应5个区域序号;b.训练过程中每张图片作分类的交叉熵损失,其中类别标签为训练集中图像对应标签;c.通过第1.2步计算得出的图片之间欧式距离,设计三元组损失函数;

第2、设计基于语义可见性的纹理对齐网络;

人体是由3D网格和UV坐标系下的纹理图组成,纹理对齐方案即利用身体部件所对应的纹理图特征计算行人之间距离,解决人体姿态与摄像机拍摄视角变换问题;

第2.1步、利用纹理生成器生成行人图像纹理图,UV坐标系下的纹理图能够实现特征图角度不变性;利用EANet方法训练出的人体语义分割分割模型将ReID数据集每个行人进行部件分类,该模型在COCO-Part14数据集训练将行人图片划分为14个类,这14个类分别为身体部位的:头、躯干、左上胳膊、右上胳膊、左下胳膊、右下胳膊、左手、右手、左上腿、右上腿、左下腿、右下腿、左脚、右脚,利用人体语义分割信息也能够知道哪个部位缺失即被遮挡;

第2.2步、通过第2.1步训练的人体语义分割模型在半身图片上能够判断人体哪个部位被遮挡,记作Vj,如果被遮挡等于0,未被遮挡等于1;

第2.3步、第2.1步得到的纹理图根据第2.2步得到每个身体部件是否被遮挡信息Vj,能够计算出每个身体部件对应纹理图;然后对这些部件进行拼接,对每个合成后的部位作softmax分类,计算此时query与gallery欧式距离,此时在基础网络的选择方面,选择Resnet作为该第2步网络模型backbone;

第3、两个网络联合学习;

第1步中的基于人体姿态的局部区域对齐网络是专门为解决遮挡问题而设计,第2步中的基于语义可见性的纹理对齐网络是专门为解决姿态变化而设计,两个步骤所对应网络都具有重识别功能,他们分别可以进行ReID任务,但遮挡和姿态多样性经常同时出现在部分行人再识别任务中;因此有必要同时解决这两个问题,所以利用Jointly Learning将两个网络联合学习训练;

第3.1步、将第1步与第2步两个分支网络所得到的特征图作element-wise add操作,得到融合特征,然后将全局特征与局部特征进行结合以提高ReID性能;

第3.2步、利用全局特征进行softmax分类;对第3.1步得到的融合特征作softamx分类,计算交叉熵损失,类别数即为行人个数;

第3.3步、利用局部特征进行人体部位块与块之间的匹配,计算query与gallery图像在第3.1步融合特征人体部位块与块之间欧式距离,然后设计三元损失函数;

第4、模型训练数据集与模型测试数据集选择,在测试数据集上验证算法的有效性;

为了能够贴近真实场景,将Market1501作为训练集,将全身图片进行0~50%比例进行裁剪来获得半身图片;测试集,使用两个半身数据集Partial REID和Partial-iLIDS,其中,Partial REID有600张图片来自60个行人,每个行人有5张全身图片和5张半身图片;

Partial-iLIDS有476张图片来自119个行人,每个行人有3张全身图和1张半身图;在两个测试数据集的实验结果发现,本发明方法比现有最好的方法VPM在Rank-1上分别有5%和

6.4%性能上的提升。