1.一种多尺度卷积特征融合的行人重识别方法,其特征在于,具体按以下步骤实施:步骤1,数据预处理;
步骤2,将Resnet-50卷积神经网络作为骨干网络,构建多层卷积神经网络,将步骤1得到的处理后的图像作为样本数据输入到多层卷积神经网络中,得到卷积后的特征图;
步骤3,构建多尺度卷积神经单元;
步骤4,计算原始特征距离,将查询目标行人图像和候选行人图像集中每个行人图像输入到经步骤3训练好的网络模型中,计算查询目标行人图像特征与候选行人集中每个行人图像特征的原始特征距离;
步骤5,重排序策略,给定查询图像,通过将其k-倒数最近邻编码为单个向量来计算k-倒数特征,该单个矢量用于在雅克比距离下重新排序,最终距离计算为原始距离与雅克比距离的组合。
2.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤1具体操作包括以下步骤:步骤1.1,将Resnet-50卷积网络作为骨干网络,将行人图片统一变换为长256宽128的大小,采用ImageNet中真实图像的RGB三通道均值和标准差来归一化输入图像,并使用随机翻转来进行数据增强;
步骤1.2,在经步骤1.1数据增强后,使用随机擦除增强策略来进行数据预处理。
3.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤2具体操作包括以下步骤:步骤2.1,将步骤1处理后的行人图片输入到网络中;骨干网络采用Resnet-50网络;
步骤2.2,提取特征图,分别提取Resnet-50网络卷积层第2阶段和第3阶段得到的特征图,并经Resnet-50网络第4阶段得到的特征图深度复制为两份,总共得到4个特征图。
4.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤3具体操作包括以下步骤:将经步骤2得到的多层的卷积特征图经过池化处理以后进行特征拼接,使用动态学习率机制将得到的每一个特征向量进行独立分类,将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层,通过triplet loss和softmax loss损失将维数进一步降低到512维,最后使用梯度下降法优化得到分类损失,得到网络训练模型。
5.根据权利要求4所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤3中构建多尺度卷积神经单元包括以下步骤:步骤3.1,池化策略,将步骤2.2得到的经过卷积第2阶段和第3阶段得到的特征图,分别经过全局最大池化和全局平均池化,得到包含特征信息的1024维和2048维的特征向量;在ResNet-50的第4阶段之后,卷积核的步长由2变为1,然后将得到的特征图深度复制为两份,将经过第4阶段得到的深度复制以后的特征向量分别采用全局平均池化和全局最大池化策略,得到包含高层次特征信息的特征向量;
步骤3.2,学习率的设置,用前10个周期从3.5′10-5到3.5′10-4线性增加学习率;然后,在-5 -6第40个和第70个学习周期,学习率分别下降到3.5′10 和3.5′10 ;在第t个周期的学习率lr(t)计算为:步骤3.3,在步骤3.2学习率设置的基础上,将经过步骤3.1得到的每一个特征向量进行独立分类,并将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层;
步骤3.4,损失函数的设置,将步骤3.1得到的特征向量分别输入到损失函数中,softmax函数的公式表示为:式中,Si代表的是第i个神经元的输出,zi为第i个节点的输出值,k为输出节点的个数,即分类的类别个数;
式中,wij为是第i个神经元的第j个权重;b表示每个神经元的偏置值;zi表示该网络的第i个输出,xij表示网络第i个神经元的输入值;
给zi加上一个softmax函数,为:
ai表示这个输入图像对应的第i类的概率值的大小,每类ai的取值范围是[0,1]区间内;
zi为第i个节点的输出值,k为输出节点的个数,即分类的类别个数;
步骤3.5,经步骤3.4分别求出所有所属类别的概率值后,在神经网络后面添加softmax函数,经过softmax loss得出的值就是预测的结果,因此可以使用交叉熵函数来作为损失函数;因此softmax的损失函数为:式中,yi是神经元的输出也可以作为预测结果; 是第i个类别的真实值, 只能取值0或者1,在softmax中取以e为底的对数;
步骤3.6,将三元组损失结合softmax损失应用在网络模型中,在使用三元组损失函数时,将是三张图片作为网络的输入, 其中 是锚点样本,是在训练数据集中随机选取的一个样本, 表示与锚点样本属于同一行人标签的样本,即正样本, 代表与锚点样本不属于同一行人标签的样本,即负样本;在特征提取时,输入相同的网络结构,经过特征提取之后计算损失函数的公式如下:式中:
表示正样本与锚点样本的欧氏距离度量值,即类内距离;
代表负样本与锚点样本的欧式度量值,即类间距离;
α是指 与 之间的距离和 与 之间的距离之间有一个最小的间隔;
+表示[]内的值大于零时,该值为损失值,小于零的时候,损失为零;
步骤3.6,最终的损失函数表示为:
式中,m代表损失函数的个数,Lsoftmax表示使用softmax函数得到损失值,Ltriplet表示使用trilpet函数得到的损失值;
步骤3.8,最后使用随机梯度下降法优化得到的分类损失。
6.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤4具体操作包括以下步骤:步骤4.1,在测试阶段,将获得的不同卷积层的特征进行拼接操作,使用多个不同的特征向量的融合来预测行人身份;
步骤4.2,利用欧氏距离公式,计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离;给定一个测试图行人p和参考图像集G={gi|i=1,2,...,N},两个行人图像p和gi之间的原始距离可以通过马氏距离来测量,式中,xp代表测试图像p的外观特征; 代表参考图像gi的外观特征;M表示半正定矩阵。
7.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法,其特征在于,所述步骤5具体操作包括以下步骤:步骤5.1,定义一个更具有鲁棒性的集合:
对于原来的集合R(p,k)中的每一个测试样本q,找到它们的k-倒数最近邻集合在重合样本数量达到一定的条件时,求其与R(p,k)的并集,将原本不在R(p,k)集合中匹配的正样本重新包含在集合中;
步骤5.2,使用高斯核将检索图像的k倒排最近邻集合编码成N维向量,定义为设置为:步骤5.3,计算雅克比距离时用到的交集的基数就改写为:
步骤5.4,最终得到的雅克比距离如下:
步骤5.5,则最终计算距离如下:
d*(p,gi)=(1-λ)dJ(p,gi)+λd(p,gi) (14)通过结合步骤4.2得到的原始马氏距离和雅克比距离对初始的排序进行重排序,其最终距离为两个距离的加权和,根据最终距离得到匹配的等级。