1.一种基于全局参考注意力机制的车辆重识别方法,其特征在于,包括以下步骤:步骤1、使用卷积神经网络ResNet‑50前部分的残差层提取输入图像的基础特征,并将获得的车辆特征图分别送入三条相互独立且内嵌结构不同的全局参考注意力模块的分支中,以提取关于车辆不同方面的鉴别性特征;
步骤2、对于第一条分支,以该分支残差层输出的特征图作为输入,将其送入全局参考通道注意力模块中,得到经通道注意力强化之后的特征图;
步骤3、对于第二条分支,以该分支残差层输出的特征图作为输入,将其送入全局参考空间注意力模块中,得到经空间注意力强化之后的特征图,同时输出空间全局关系图,该关系图用于下一个分支中的抑制操作;
步骤4、对于第三条分支,以该分支残差层输出的特征图作为输入,将其送入被抑制的全局参考空间注意力模块,得到空间注意力强化后的特征图,该特征图与第二条分支注意力模块所生成的特征图对车辆图像关注的位置不同;
步骤5、每个分支在得到注意力强化后的特征图后,经过全局平均池化层和卷积降维层输出一个特征向量,该向量用于网络训练过程中损失的计算;以交叉熵损失和批量硬性三元组损失作为目标函数,对整个网络进行多次训练直至收敛。
2.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法,其特征在于,步骤1的具体方法为:以ResNet‑50前部分的残差层res1 res4_1作为骨干网,将ResNet‑50后~
部分的残差层 res4_2 res5复制为三个相同结构的分支,每个分支在残差层后依次加入一~
个基于全局参考注意力机制设计的模块、全局平均池化层GAP、卷积降维层Reduce和全连接层FC;将所有输入网络的图像的尺寸缩放成一致尺寸并输入到骨干网;通过骨干网和三个分支的残差层,得到三个不同的特征图。
3.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法,其特征在于,步骤2的具体方法为:
2‑1)、对于第一条分支的全局参考通道注意力模块,该分支残差层输出的特征图X是其输入量,其中 ,C、H、W分别是特征图X的通道数、空间高度、宽度;首先对输入特征图X取通道维度的平均值以将其压平,得到通道的全局参考点,即特征向量 ,其中, ;
2‑2)、使用1×1卷积降维函数 把X的通道数从C变成C/c,把得到的张量划分成C/c个d维的特征向量,每个特征向量表示为 ,其中 ;
c c
2‑3)、计算每个特征向量 与通道参考特征向量 的内积,得到通道关系向量r ,r内元素 的计算公式如下:
,
式中,为向量内积符号;
c
2‑4)、得到通道关系向量r 后,先使用由1×1卷积层、批量归一化层BN和ReLU激活层组c
成的转换函数T(x),将r的维数由 C/c恢复到C,同时得到通道全局关系图A ;然后使用sigmoid函数来激活 ,并将结果的尺寸广播至与特征图X的尺寸相同,再与原特征图X进行C
元素相乘,得到经通道注意力掩码的特征图X,其计算公式如下:,
式中,是元素相乘符号。
4.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法,其特征在于,步骤3的具体方法为:
3‑1)、对于第二条分支的全局参考空间注意力模块,以该分支残差层输出的特征图X作为输入量;首先对特征图X进行全局平均池化得到特征向量 ,再通过1×1卷积嵌入函数,将其通道维数从C降低到C/s,得到空间的全局参考点,即特征向量 ;
3‑2)、使用1×1卷积嵌入函数 把X的通道数从C变成C/s, 并将得到的张量划分成N个C/s维的特征向量,其中 ,每个特征向量表示为 ,其中 ;计算每s s
个特征向量 与空间参考特征向量 的内积,得到空间关系向量r,r内元素 的计算公式如下:
,
式中,是向量内积符号;
s
3‑3)、把得到的空间关系向量r 重塑成尺寸为 的空间全局关系图 ,使用sigmoid函数来激活 ,并将结果的维数广播至 ,再与原特征图对应元素相乘,得到S
经空间注意力掩码后的特征图X,其计算公式如下:,
式中,是元素相乘符号;
3‑4)、把生成的空间全局关系图 记作 , 用于第三条分支中的抑制操作。
5.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法,其特征在于,步骤4的具体方法为:
4‑1)、第三条分支中的被抑制的全局参考空间注意力模块,是由一个全局参考空间注意力模块和一个抑制操作组成的;首先,按照步骤3具体实施方法,将第三条分支残差层输出的特征图X输入第三条分支的全局参考空间注意力模块得到全局关系图 ;
4‑2)、将得到的全局关系图 与第二条分支的注意力模块所生成的全局关系图 进行抑制操作;抑制操作的具体实施是:计算第三条分支所生成的空间全局关系图 与第二条分所生成的空间全局关系图 的对应元素之差并求绝对值,得到新的空间全局关系图,其计算公式如下:
;
4‑3)、新的空间全局关系图 使用sigmoid函数激活,并将结果的维数广播至SS
,再与原特征图对应元素相乘,得到经空间注意力掩码后的特征图X ,其计算公式如下:。
6.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法,其特征在于,步骤5的具体方法为:每个特征图各自经过一个全局平均池化层GAP后通过一个由1×1卷积、批量归一化层BN和ReLU激活函数组成的卷积降维层Reduce进行降维,降维后的特征向量用于训练中三元组损失的计算;除此之外,每个降维后的特征向量后面跟一个全连接层FC,以用于训练中交叉熵损失的计算。