1.一种基于多特征融合的遮挡行人再识别方法,其特征在于,包括:
S1:获取行人图像数据集并构建障碍样本集,从障碍样本集中随机选择一个障碍样本;
对训练集中的无遮挡行人图像动态生成遮挡区域,更改障碍样本的大小为遮挡区域大小,将障碍样本粘贴至无遮挡行人图像的遮挡区域得到遮挡行人图像;
S2:对遮挡行人图像和无遮挡行人图像进行相同的图像增强处理,利用增强处理后的图像对训练基于ViT神经网络的行人再识别模型;
S3:将遮挡的目标行人图像和无遮挡的目标行人图像作为图像对输入训练好的行人再识别模型输出目标行人的识别结果。
2.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述对遮挡行人图像和无遮挡行人图像进行相同的图像增强处理包括:对遮挡行人图像和无遮挡行人图像进行标准的图像填充、随机裁剪或随机擦除处理。
3.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述基于ViT神经网络的行人再识别模型包括:第一编码网络、第二编码网络、掩码生成器、Transformer编码器、第一分类器和第二分类器;所述第一编码网络和第二编码网络共享所有的网络参数;所述第一编码网络或第二编码网络均由L个Transformer层依次连接组成。
4.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述训练基于ViT神经网络的行人再识别模型包括:S31:利用滑窗切割图片,将遮挡行人图像和无遮挡行人图像分别切割为N个固定大小的可重叠图像块;
S32:将N个遮挡行人图像块和无遮挡行人图像块分别进行线性化处理生成第一遮挡向量序列和第一无遮挡向量序列;
S33:在第一遮挡向量序列和第一无遮挡向量序列和中分别添加分类头信息,并在序列中的每个向量中分别添加对应的位置信息和相机信息,得到第二遮挡向量序列和第二无遮挡向量序列;
S34:将第二遮挡向量序列和第二无遮挡向量序列分别输入第一编码网络和第二编码网络提取遮挡行人图像和无遮挡行人图像的特征信息;其中,所述特征信息包括:分类头学习到的全局特征信息和其余的局部特征信息;
S35:分别选取第一编码网络和第二编码网络中K个Transformer层输出的局部特征进行拼接得到遮挡行人图像的中间局部特征序列和无遮挡行人图像的中间局部特征序列;
S36:将遮挡行人图像的中间局部特征序列和无遮挡行人图像的中间局部特征序列分别输入掩码生成器得到遮挡行人图像的图像掩码和无遮挡行人图像的图像掩码;
S37:利用Transformer编码器将遮挡行人图像的图像掩码分别与第一编码网络输出的遮挡行人图像的局部特征和全局特征进行融合得到遮挡行人图像的局部融合特征和遮挡行人图像的全局融合特征;利用Transformer编码器将无遮挡行人图像的图像掩码分别与第二编码网络输出的无遮挡行人图像的局部特征和全局特征进行特征融合得到无遮挡行人图像的局部融合特征和无遮挡行人图像的全局融合特征;并根据第一编码网络输出的遮挡行人图像的全局特征和第二编码网络输出的无遮挡行人图像的全局特征创建第一损失函数;
S38:将遮挡行人图像的全局融合特征、无遮挡行人图像的全局融合特征、遮挡行人图像的图像掩码进行特征融合得到第一综合特征;将第一综合特征和无遮挡行人图像的图像掩码进行点乘运算得到第二综合特征;将第一综合特征和第二综合特征分别输入第一分类器和第二分类器输出遮挡行人图像和无遮挡行人图像的分类结果,并根据遮挡行人图像的类别标签和无遮挡行人图像的类别标签构建第二损失函数和第三损失函数;
S39:根据第一损失函数、第二损失函数和第三损失函数创建基于ViT神经网络的行人再识别模型的损失函数,根据基于ViT神经网络的行人再识别模型的损失函数利用反向传播机制更新行人再识别模型的参数,直至行人再识别模型的损失函数收敛为止,完成行人再识别模型的训练。
5.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述将遮挡行人图像和无遮挡行人图像分别切割为N个固定大小的可重叠图像块包括:其中,H和W为遮挡行人图像或无遮挡行人图像的高和宽,P为切割后图像块的长或宽,S为滑动窗口的步长。
6.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述遮挡行人图像的图像掩码和无遮挡行人图像的图像掩码包括:M=σ(Avgpool(Conv(Fall)))
其中,Conv表示卷积函数、Fall表示遮挡行人图像的中间局部特征序列或无遮挡行人图像的中间局部特征序列、Avgpool表示平均池化层、M∈{Mz,Mo}表示图像掩码;σ表示Sigmoid激活函数;Mz表示遮挡行人图像的图像掩码;Mo表示无遮挡行人图像的图像掩码。
7.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述将遮挡行人图像的图像掩码分别与第一编码网络输出的遮挡行人图像的局部特征和全局特征进行融合,将无遮挡行人图像的图像掩码分别与第二编码网络输出的无遮挡行人图像的局部特征和全局特征进行特征融合包括:S371:将遮挡行人图像的图像掩码与第一编码网络输出的遮挡行人图像的的全局特征进行点乘运算得到第一中间融合特征;
S372:将第一中间融合特征与第一编码网络输出的遮挡行人图像的全局特征相加得到第二中间融合特征;
S373:将遮挡行人图像的图像掩码进行维度扩充得到遮挡行人图像的图像扩充掩码,所述遮挡行人图像的图像扩充掩码包括:Mz′=Expand(σ(W1×Mz))
其中,Mz′表示遮挡行人图像的图像扩充掩码,Mz表示遮挡行人图像的图像掩码,Expand表示维度扩充函数,W1表示线性投影系数矩阵;
S374:将遮挡行人图像的图像扩充掩码和第一编码网络输出的遮挡行人图像的局部特征进行点乘运算得到第三中间融合特征,将第三中间融合特征与第一编码网络输出的遮挡行人图像的局部特征相加得到第四中间融合特征;
S375:将第四中间融合特征和第二中间融合特征进行拼接得到五中间融合特征;将第五中间融合特征输入Transformer编码器进行特征提取输出遮挡行人图像的全局融合特征和遮挡行人图像的局部融合特征;
S376:基于步骤S371‑S375相同的原理,根据无遮挡行人图像的图像掩码、第二编码网络输出的无遮挡行人图像的局部特征和全局特征计算得到无遮挡行人图像的局部融合特征和无遮挡行人图像的全局融合特征。
8.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述将遮挡行人图像的全局融合特征、无遮挡行人图像的全局融合特征、遮挡行人图像的图像掩码进行特征融合得到第一综合特征包括:S381:将遮挡行人图像的图像掩码和遮挡行人图像的全局融合特征进行点乘运算得到第一中间综合特征;
S382:将第一中间综合特征与无遮挡行人图像的全局融合特征相加得到第二中间综合特征;
S383:将第二中间综合特征进行批归一化处理得到第一综合特征。
9.根据权利要求1所述的一种基于多特征融合的遮挡行人再识别方法,其特征在于,所述基于ViT神经网络的行人再识别模型的损失函数包括:其中, 表示第一损失函数; 表示第i个遮挡行人图像或无遮挡行人图像的全局特征, 表示 的正样本的全局特征, 表示 的负样本的全局特征,m表示正样本和负样本之间的距离,N表示Batchsize大小; 表示第二损失函数; 表示第三损失函数;
M表示行人的类别总数,y(xic)表示第i个遮挡行人图像或无遮挡行人图像属于第c个类别的标签值,Pic表示分类器对第i个遮挡行人图像或无遮挡行人图像在第c个类别上的概率预测值。