1.一种基于分组聚合注意力和局部关系的车辆重识别方法,其特征在于,包括以下步骤:步骤1、以车辆图像作为输入数据,采用Resnet50作为骨干网络,在res_conv4_1残差块之后,Resnet50骨干网络被划分为两个分支;
步骤2、移除两个分支中的res_conv5_1块的空间下采样操作;
步骤3、对于全局分支,将分组聚合注意力机制添加到res_conv5块后,以增强显著信息并抑制噪声信息,该全局分支用于学习有效的全局级特征;对于局部分支,将res_conv5块产生的特征图输入到局部关系模块中,以获得更具鉴别性的局部级特征;
步骤4、利用全局平均池化层将全局级特征和局部级特征池化到大小为2048×1×1的特征图,以用于三元组损失的计算;
步骤5、通过降维模块将2048维特征降到256维特征,每个256维的特征输入到一个全连接层中,以用于交叉熵损失的计算;基于以上得到的结果进行车辆重识别;
所述分组聚合注意力机制的完整架构为:
C×H×W
(2‑1)特征图x∈R 作为分组聚合注意力机制的输入,其中C代表通道的数量,H、W分别表示张量的高度和宽度;特征图x首先输入到一个分组数为d的1×1分组卷积中,然后将得到的特征图沿通道方向均匀划分为d组,每组独立地输入到特征增强模块中,以得到强化后的特征图;
(2‑ 2) 对于 特征增强 模块 ,将 特征图x i作为该 模块的 输入 ,其中在特征增强模块中,特征图xi首先同时经过两个嵌入函数α(x)和β(x)分别得到张量A和B;然后,将张量A和B的尺寸分别变形为(C/d)×HW和HWr×(C/d),为了获得由通道间关系组成的矩阵 将A和B进行矩阵乘法,x的计算公式为 式中, 为矩阵乘法符号;
r r
(2‑3)对矩阵x进行关系融合操作,即对x的每一行求均值,从而得到组内全局通道关系向量R;对向量R进行缩放点积操作,即将R中的每个元素除以 向量R中的第i个元素的计算公式如下:(2‑4)紧接着,向量R通过一个全局关系交互操作得到一个新的通道向量R′;该全局关系交互操作通过一个卷积核大小为k、边缘填充圈数为2的快速1D卷积来实现,其中k作为一个超参数,代表局部跨关系交互的覆盖率;
p C/d
(2‑5)然后通过一个sigmoid函数来得到通道注意力图x∈R ;设计一个注意力增强约束LAE,通过让注意力增强约束变大来进一步增强有用信息并削弱背景噪声信息,该约束的计算表达式如下:p
其中 代表了x的第i个元素;
p
(2‑6)最后将注意力图x的尺寸变形为 并和输入特征xi进行元素点乘操作,得到最终的输出特征 表达式如下:
式中, 为元素点乘符号;
(2‑7)将 在通道维度进行拼接,得到一个尺寸为C×H×W的特征图x′;最后,将x′经过聚合函数f(x)实现组间全局通道信息交互并得到最终的输出特征图zx,其中f(x)由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成;
所述局部关系模块用于挖掘部位之间的联系,其结构为:C×H×W e
(3‑1)特征图x∈R 作为该模块的输入,经过三个1×1分组卷积得到三个特征图(x,f g e f e f gx ,x)且x 和x的通道数被降维至C′以减少计算复杂度;然后将x 、x 和x的尺寸分别变形为N×C′、C′×N和C×N,其中N=H×W;
e f N×N
(3‑2)特征图x 和x通过矩阵乘法得到空间位置关系矩阵S∈R ,矩阵S中的元素表示N×N了位置点之间的关系;引入掩码M∈R 与S进行点乘得到新的关系矩阵S′,该掩码的左上角和右下角部分的值都为0,剩余两部分的值都为1;
g h h
(3‑3)矩阵S′经过softmax函数之后和特征图x 进行矩阵相乘得到关系特征图x ,x的计算公式如下:式中,“⊙”是元素点乘符号、 是矩阵乘法符号;
h z
(3‑4)最后将x和原特征x相加获得最终的特征x。
2.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法,其特征在于,步骤5中,所述降维模块由一个1×1卷积和一个批量归一化层BN组成。
3.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法,其特征在于,在测试阶段,所有被减少到256维的特征拼接到一起作为最终的特征表示。
4.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法,其特征在于,所用到的d个特征增强模块共享嵌入函数α(x)和β(x)中的1×1卷积。
5.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法,其特征h在于,所述x的上半部分特征为 下半部分特征为