论文标题：
Multi-Branch Feature Learning Network via Global-Local Self-Distillation for Vehicle Re-Identification
发表情况：
IEEE Transactions on Vehicular Technology (SCI 中科院2区 Top期刊)

下文主要关注于方法的介绍

整体网络模型

在本研究中，继续采用了广泛应用的ResNet网络家族，并选择ResNet50作为模型的骨干网络。该方法借鉴了当前最先进的车辆重识别技术，如UMTS、PPT和FastReID，对骨干网络进行了特定的配置优化。具体来说，移除了网络中的最后一个下采样层，并将最终卷积层的步长从2调整为1。这一调整显著增强了网络在保留细节空间信息方面的能力，为细粒度的车辆重识别任务提供了高分辨率的特征图，从而有助于提升识别性能。

为了进一步促进全局与局部特征的学习，本研究采纳了一个部分共享架构的骨干网络。ResNet的四个阶段结构允许从简单到复杂逐步提取特征，其中前两个阶段着重于初级视觉特征如边缘和纹理的提取，而后两个阶段则专注于更复杂的特征表示，如对象整体结构和场景上下文。基于这种结构，本研究在骨干网络的前两个阶段采用特征提取模块共享机制，在后两个阶段则将全局和局部特征提取任务分开，分别进行参数更新。这种设计选择允许在不同尺度的特征提取过程中对全局和局部特征采用不同的参数集，从而克服了直接从全局特征中分割局部特征时可能遇到的适应性限制。

通过复制骨干网络的最后两个阶段并创建一个双分支结构，本研究的网络能够并行地进行全局和局部特征的提取。对于给定的车辆图像 x，通过主干网络的特征提取过程，它被分配到两个不同的数据流中，分别对应于全局和局部特征提取。最终，这两个分支的输出特征可以表示为 T_g, T_l = F(x; θ) ∈ R^{C × H × W}，其中 C、H 和 W 分别代表通道数、高度和宽度。这种创新的架构设计不仅能够捕获车辆的整体外观信息，还能够细致地关注车辆的特定细节特征，极大地提高了车辆重识别领域中的准确性和鲁棒性。

局部特征学习

在先前的研究中，已经揭示了特征图的不同通道表示不同的语义。我们的工作遵循类似的策略，将通道分成不同的组，每个组负责局部特征表示。通过这样做，可以从特定的局部分支中删除不相关的通道，从而减轻不利的干扰。具体来说，我们首先使用 LayerNorm 对张量 F_l 中的元素进行归一化，以防止特征值过大或过小。然后，沿着通道维度将 F_l 均匀分成 N 组，从而得到形状为 H × W × (C/N) 的 N 个特征图 F_lⁱ，其中 1 ≤ i ≤ N。默认情况下，我们令 N = 4，其影响将在实验部分探讨。

在获得了具有减少通道冗余的特征 F_lⁱ 后，模型需要从空间角度考虑特征分布的重要性。因此，我们引入了一个空间注意力（SA）模块，以增强特征表示。为了实现信息的平滑流动，该模块包括两个卷积层，逐步实现特征的细化。第一个卷积层将特征通道从 512 压缩到中间维度（64），而第二个卷积将特征通道进一步压缩到一个通道。从数学上讲，上述过程可以表示为：

其中 CONV_1×1 表示卷积操作，核大小为 1×1，ReLU 表示修正线性单元，BN 表示批归一化。空间注意力权重 Mⁱ 是通过对 F̄_lⁱ 应用 sigmoid 激活函数得到的，将每个空间位置的重要性分数约束在 0 到 1 之间。计算可以表示为：

然后，我们将 Mⁱ 与相应的特征 F_lⁱ 相乘，以强调具有更高注意力的区域。为了减少信息损失，我们添加了残差连接，并同时增强关键特征，具体如下：

其中 F̂_lⁱ ∈ R^H×W×(C/N) 表示空间注意力模块的增强特征。

最后，通过全局平均池化（GAP）聚合 F_g 和 F̂_lⁱ 以获得特征向量 f_g 和 f_lⁱ：

得到的 f_g 和 f_lⁱ 首先通过多层感知机（MLP）进行处理，保留通道维度并增强特征交互。然后，应用 BN 层进行特征归一化，确保稳定的分布。最后，使用另一个 MLP 层将特征维度降低以匹配身份分类任务。上述过程可以表示为：

在上述转换之后，我们得到了 S_g, S_lⁱ ∈ R^K，其中 K 表示车辆身份的总数。值得一提的是，在推断过程中移除了最后的全连接层。

蒸馏结构

未完待续