阅读了论文 NAM: Normalization-based Attention

论文提出利用batchnorm的权重信息实现注意力机制.

• 将Uafm* 放到PVASF上，涨了一个点。
• 参考 PVASF 训练和评估时的架构，在 fast-reid 上实现。
• 将 PVASF 中的局部注意力机制用 NAM 实现。

VeRi Rank-1 Rank-5 Rank-10 mAP mINP metric
baseline 94.64 97.62 98.45 77.24 42.01 85.94
Pvasf 96.78 98.75 99.17 81.7
Pvasf*+Nam 96.48 98.63 99.17 81.4
Pvasf+mlp 96.78 98.69 99.17 82.3

问题分析

在将 pvasf 的训练和评估结构移植到 fast-reid 中，遇到了一些底层函数方法实现的细节不同，比如特征图之间的举例计算函数。

下步计划

目前面临的问题主要在对 Pvasf 其中的局部注意力部分做修改。
Pvasf 中这个部分的想法是很好的，每个局部特征按注意力重要性求得权重，弥补单一面积注意力的不足。
所以下一步要继续修改实现这一目标的方法。