1.一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:包括以下步骤:接收图像数据集,划分得到训练集和待识别的测试集,并进行预处理;
构建包括生成器网络结构和判别器网络结构的对抗双路网络框架;
将训练集中的可视光图像和热感图像对数据分别输入生成器中的可视光支路和热感支路以获得不同模态的特定行人特征;
将特定模态的行人特征投影到公共的特征表示空间;
根据公共特征表示空间中可视光图片和热感图片的行人特征,学习生成器,进行三重约束,并学习判别器;
对生成器和判别器进行对抗训练,优化公共表示空间,得到最终的网络模型;
利用最终的网络模型对测试集进行跨模态行人重识别,得到识别结果。
2.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:对训练集进行预处理的具体过程包括调整图片的大小,然后进行随机裁剪和水平翻转以进行数据增强。
3.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:所述的生成器网络结构是一个包含可视光支路和热感支路的双路卷积神经网络结构,两条支路结构相同但参数不共享,均采用预训练好的卷积神经网络,使用Resnt-50去掉最后一个全连接层的其余部分,之后,连接一个共享参数的全连接层;
或,所述的判别器为模态分类器,采用一个三层的前馈全连接网络,每一个全连接层之后跟着一个批归一化层。
4.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:所述的三重约束过程包括:行人身份约束、跨模态难样本挖掘四元组约束以及同质约束。
5.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:学习生成器计算由行人身份约束、跨模态难样本挖掘四元组约束以及同质约束损失形成的目标函数;
学习判别器即计算下述判别器目标函数:
θD是判别器的参数,si是模态标签,D(·)是判别器的输出,即输入特征的模态概率,xi代表第i个可视光图像在公共表示空间中的特征,zi代表第i个热感图像在公共表示空间中的特征。
6.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:利用随机梯度下降法对最终的目标函数进行优化,直到从共同空间中随机抽取一个样本,模态分类器不能预测出其原始模态,得到最终的共同空间。
7.如权利要求1所述的一种带有三重约束损失的对抗跨模态行人重识别方法,其特征是:进行测试的具体过程包括:可视光图像的测试样本和热感图像的测试样本输入训练好的生成器网络模型,可以得到可视光图片和热感图片的判别性特征表示,得到查询样本和待检索的样本两两之间的欧式距离,并将该距离从小到大排序,距离越小的代表与查询样本越匹配。
8.一种带有三重约束损失的对抗跨模态行人重识别系统,其特征是:包括:数据预处理模块,被配置为将图像数据集划分得到训练集和待识别的测试集,并进行预处理;
网络模型构建模块,被配置为构建包括生成器网络结构和判别器网络结构的对抗双路网络框架;
三重约束模块,被配置为将训练集中的可视光图像和热感图像对数据分别输入生成器中的可视光支路和热感支路以获得不同模态的特定行人特征;将特定模态的行人特征投影到公共的特征表示空间;根据公共特征表示空间中可视光图片和热感图片的行人特征,学习生成器,即进行三重约束,并学习判别器;
对抗训练模块,被配置为对生成器和判别器进行对抗训练,优化公共表示空间,得到最终的网络模型;
识别模块,被配置为利用最终的网络模型对测试集进行跨模态行人重识别,得到识别结果。
9.一种计算机可读存储介质,其特征是:其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种带有三重约束损失的对抗跨模态行人重识别方法。
10.一种终端设备,其特征是:包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种带有三重约束损失的对抗跨模态行人重识别方法。