1.一种基于双关系注意力机制的车辆重识别方法,其特征在于,包括以下步骤:步骤1、以ResNet‑50卷积神经网络架构作为主干网络,并且将ResNet‑50的后半部分分裂为三个分支,即全局分支G1、全局分支G2和全局分支G3,将图像缩放至统一尺寸256×
256,输入到主干网络中,通过三个分支G1、G2和G3分别提取车辆的不同特征;
步骤2、G1分支保留ResNet‑50原有的特征结构,提取全局的特征表示;G2分支和G3分支将经过卷积后的最终特征图送入双关系注意力模块DRAM中,提取互补的显著信息;
步骤3、在G2分支和G3分支中,经所有卷积层后得到的最终特征图 被送入双关系注意力模块,其中, 和 分别是张量的高度和宽度, 是通道数;该模块能够同时构建某一点在空间和通道维度的重要性,即通过通道间的关系构建该点在通道维度的重要性,并通过空间位置与位置之间的关系构建该点在空间维度的重要性,并进一步建模该点在三维空间的注意力;具体实现方法,包括以下步骤:(1)将特征图 经过一个 函数及矩阵乘操作构建特征图上所有通道与通道之间的关系;采用1*1卷积 和 将通道 减少至 ,并分别将得到的张量重塑为 和,得到两个形状为 和 的矩阵;然后对这两个矩阵做乘法运算,得到 的矩阵,该矩阵表示了所有通道与通道之间的关系;
(2)利用通道与通道之间的关系,构建特征图上的点在通道维度上的重要性;将步骤(1)得到的 矩阵重塑成一个关系向量 ,其中 ;接着使用一个1*1的卷积 将该向量的通道维数从 恢复至 ,其中 ,得到 的向量 ,向量的计算公式如下:
;
利用一个Sigmoid函数来归一化向量 ,得到通道维度的注意力图 ,注意力图 的计算公式如下:
;
(3)构建特征图上的点在通道维度上的重要性的同时,对其在空间维度上的重要程度建模;具体来说,采用1*1卷积 和 将通道 减少至 ,并分别将得到的张量重塑为和 ;接着,对这两个矩阵做乘法运算,得到 的矩阵,该矩阵表示了所有位置与位置之间的关系;
(4)将步骤(3)得到的大小为 的位置关系矩阵重塑为 ,得到一个三维张量;通过1*1卷积 将张量 变为 ,得到一个降维后的三维位置关系张量 ,张量 的计算公式如下:;
三维位置关系张量 的通道数与注意力图 的维数相等;
(5)利用通道维度的注意力图 和三维位置关系张量 计算特征图上点的注意力权重;将注意力图 与三维张量 对应元素相乘,然后利用1*1卷积 将通道数由 恢复至 ,并且经过一个Sigmoid函数,得到最终的三维注意力图 ,三维注意力图 的计算公式如下:
;
其中, 表示矩阵对应位置的元素相乘, 为具有BN层和ReLU函数的1*1卷积;
(6)三维空间注意力图 与原始特征图 对应位置元素相乘,两者相乘之后再一次与原始特征图 相加,得到双关系注意力模块DRAM的输出特征图 ,特征 的计算公式如下:,
其中, 表示矩阵对应位置的元素相乘;
步骤4、通过G2分支和G3分支中注意力图间的非相似性约束,强制G2分支和G3分支提取不同的显著性信息;计算由双关系注意力模块得到的两个注意力图的夹角余弦,使用夹角余弦作为两个注意力图的非相似性约束,将非相似性约束作为损失函数对网络进行训练,缩小夹角余弦的值,强制缩小两个注意力图之间的相似度,以使G2分支和G3分支提取不相似的特征;
步骤5、对网络进行训练时,除了采用非相似性约束外,还采用交叉熵损失和三元组损失作为目标函数对整体网络进行训练。
2.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法,其特征在于,所述步骤2的具体实现方法为:在G1中,res_conv5_1块使用步长为2的下采样卷积层,然后对最G1
后输出的特征图进行全局平均池化操作,得到2048维特征Z ,并使用具有BN层和ReLU函数G1 G1
的1*1卷积将2048维特征Z 降到256维特征R ,从而提供紧凑的特征表示;在G2分支和G3分支中res_conv5_1块中不使用下采样操作,能够增大感受野,为注意力机制提供更大的空间视图;经所有卷积层后的最终特征图记为 ,其中,和 分别是张量的高度和宽度,是通道数; 被送入到双关系注意力模块DRAM中;对经过注意力模块后得到的特征图进行全局平均池化操作,使用具有BN层和ReLU函数的1*1卷积将2048维特征减少到256维特征。
3.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法,其特征在于,所述步骤4中,相似度计算公式如下:;
其中, 是经过G2分支得到的注意力图,是经过G3分支得到注意力图。
4.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法,其特征在于,所述步骤5的具体实现方法包括以下步骤:(1)通过经全局平均池化后进行压缩后的特征计算三元组损失;
(2)三元组损失计算公式如下:;
式中: , , 分别表示锚样本、正样本和负样本的特征向量;是间隔阈值,表示用来约束样本对间距离的阈值;
(3)交叉熵损失计算公式如下:;
其中 表示类的数量,是ID的真实标签, 是类 的ID预测概率。