1.一种基于孪生行人对齐残差网络的行人重识别方法,其特征在于,包括以下几个步骤:S1、构建基础分支孪生残差网络;
S1.1、构造第一基础分支深度残差网络,采用迁移学习策略,导入在ImageNet数据集上预训练的残差网络参数,将其作为第一基础分支深度残差网络的基础参数;
S1.2、通过复制第一基础分支深度残差网络的模型结构和参数得到第二基础分支深度残差网络;
S1.3、计算两个基础分支深度残差网络输出的特征向量差值的平方,利用卷积层和分类器进行二分类,判断上述两个基础分支深度残差网络的输入是否是同一类别的图像;
S2、构建行人对齐分支孪生残差网络;
S2.1、构造第一行人对齐分支深度残差网络,使用经过训练的第一基础分支深度残差网络或第二基础分支深度残差网络中的任意一个,删除用于将高维特征图像返回为特征向量的残差块;
将输出的高维特征图像结果经由一个残差块返回用于进行仿射变换的参数,对输出的低维特征图像进行仿射变换,得到经过对齐的行人图像;
将经过训练的第一基础分支深度残差网络或第二基础分支深度残差网络中的任意一个,删去用于得到进行仿射变换的低维特征图像及其之前的残差块,并用来训练得到的经过对齐的行人图像;
S2.2、复制第一行人对齐分支深度残差网络的模型结构和参数得到第二行人对齐分支深度残差网络;
S2.3、计算上述两个行人对齐分支深度残差网络输出的特征向量差值的平方,利用卷积层和分类器进行二分类,判断两个分支网络的输入是否是同一类别的图像;
S3、利用已构造好的训练数据集对构建好的基础分支孪生网络和行人对齐分支孪生残差网络进行参数训练,将训练好的基础分支孪生残差网络中基础分支原型和行人对齐分支孪生残差网络中行人对齐分支原型取出进行行人重识别的分类模型;
S3.1、利用构造好的训练数据集采用批量梯度下降法分别对构造好的基础分支孪生残差网络和行人对齐分支孪生残差网络进行参数训练;
S3.2、训练好参数之后分别将任意一个基础分支孪生残差网络和行人对齐分支孪生残差网络取出作为行人图像分类模型;
S4、构建测试样本和查询样本;
S5、测试样本分类:将测试样本分别送入训练好的基础分支深度残差网络和行人对齐分支深度残差网络中进行特征提取;
S6、将两个分支网络得到的特征进行特征连结;
S7、对测试样本的图像和查询样本的图像进行欧式距离的计算得到排序列表;
S8、在重排序的基础上进行行人重识别。
2.根据权利要求2所述基于孪生行人对齐残差网络的行人重识别方法,其特征在于,步骤S1.1具体如下:S1.1.1、输出经过平均池化后得到的2048维向量f1;
S1.1.2、设置卷积层的特征映射图数为行人类别数目n,卷积层将f1映射成为n维向量,由全连接分类器输出最终类别预测;
S1.1.3对于基础分支孪生残差网络的输入和输出,定义第一损失函数:其中,softmax代表一个分类器函数,代表一个卷积运算,θI代表所使用的卷积层的参数,t为行人类别,f为经过基础分支深度残差网络进行特征提取后得到的特征向量,为分类器函数输出的特征向量f属于某个行人类别t的概率,对于任一图像i和某一行人类别t,pi代表图像i是否属于行人类别t,如果属于,则pi=1,否则pi=0, 为任一图像i经过softmax函数处理后得到的概率值。
3.根据权利要求1所述基于孪生行人对齐残差网络的行人重识别方法,其特征在于,步骤S1.3具体如下:S1.3.1、设置平方层,将两个基础分支深度残差网络输出的特征向量f1、f2取差值平方,得到fs=(f1-f2)2S1.3.2、设置特征映射图数为2的卷积层,将fs映射成为2维向量;
S1.3.3、全连接至二分类器对S1.3.2的输出产生最终预测,即输入图像对是否来自同一类别;
S1.3.4、对于相同类别或不同类别的输入图像对q,定义第二损失函数:其中,softmax代表一个分类器函数,代表一个卷积运算,θS代表所使用的卷积层的参数,s为相同或不相同两个类别,fs为经过平方层后卷积得到的特征向量,为分类器函数输出的特征向量fs是否是同一类行人θs的概率,f1、f2分别为由构成基础分支孪生残差网络的两个基础分支深度残差网络提取到的特征,如果f1、f2是同一人,q1=1,q2=0;否则q1=0,q2=1,经过卷积层和softmax函数处理之后,将fs映射为一个二维向量 这个二维向量代表输入的两个图像是否属于同一个行人类别的概率,其中
4.根据权利要求1所述基于孪生行人对齐残差网络的行人重识别方法,其特征在于,步骤S2.1具体如下:S2.1.1输出经过平均池化后得到的2048维向量fa;
S2.1.2设置卷积层的特征映射图数为行人类别数目n,卷积层将f1映射成为n维向量,由全连接分类器输出最终类别预测;
S2.1.3对于行人对齐分支深度孪生残差网络的输入和输出,定义第三损失函数:其中,softmax代表一个分类器函数,代表一个卷积运算,θI代表所使用的卷积层的参数,t为行人类别,fa为经过基础分支深度残差网络进行特征提取后得到的特征向量, 为分类器函数输出的特征向量f属于某个行人类别t的概率,对于任一图像i和某一行人类别t, 代表图像i是否属于行人类别t,如果属于,则 否则 为任一图像i经过softmax函数处理后得到的概率值。
步骤S2.3具体如下:
S2.3.1、设置平方层,将两个行人对齐分支深度残差网络输出的特征向量 取差值平方,得到S2.3.2、设置特征映射图数为2的卷积层,将fs映射成为2维向量;
S2.3.3、全连接至二分类器对S1.3.2的输出产生最终预测,即输入图像对是否来自同一类别;
S2.3.4、对于相同类别或不同类别的输入图像对q,定义第四损失函数:其中,softmax代表一个分类器函数,代表一个卷积运算,θS代表所使用的卷积层的参数,s为相同或不相同两个类别, 为经过平方层后卷积得到的特征向量, 为分类器函数输出的特征向量 是否是同一类行人θS的概率, 分别为由构成基础分支孪生残差网络的两个基础分支深度残差网络提取到的特征,如果 是同一人,否则 经过卷积层和softmax函数处理之后,将fs映射为一个二维向量这个二维向量代表输入的两个图像是否属于同一个行人类别的概率,其中