- 实现环状划分车辆局部特征,根据Hanoi Pool论文中对划分特征的处理进行了实验。
- 根据Multiscale Global-Aware Channel Attention for Person Re-identification论文中的描述,实现ASFF融合模块并用来融合不同层之间特征。
- 根据Graph-based High-Order Relation Discovery for Fine-grained Recognition论文,使用其图关系构建模块来对划分出的不同局部特征构建关系。在其上修改并实现了基于图关系的不同局部区域融合模块。
- 实现在最后一阶段使用ASFF融合模块,并对融合结果使用环状划分,再进行图关系构建融合模块。
ASFF 单卡训练 batchsize 64 num_instance 16
ASFF 双卡训练 batchsize 64 num_instance 8
问题分析
ASFF多层级特征融合模块的选择
融合骨干网多个阶段多个层级的模块,设计上需要考虑轻量化。
ASFF模块设计比较简单,进一步修改的入手点比较多。
单卡和多卡训练差异
实现ASFF后,进行实验检验模块代码设计是否有严重错误。由于服务器另一块儿显卡被占用,只用一块显卡实验,得到了最好效果 mAP 80.35。
但后续发现使用双卡后性能会骤降,调整双卡batchsize后,性能恢复正常mAP 78.21,相比baseline mAP 74(without ibn)有所提升。
引入图卷积模块后性能不好
使用图卷积在不同局部特征之间构建关系后,图节点数量是不变的(也就是局部特征数量),重点在于如何进一步对这些特征进行融合。
目前试过的方法:
- 直接使用Graph-based High-Order Relation Discovery for Fine-grained Recognition 中的方法,直接对不同局部求平均。
- 论文SSR-Net: A Spatial Structural Relation Network for Vehicle Re-identification中的方法,生成一个随机的tensor参与构建图关系,学习得到所有节点的信息。
- 图关系构建后,根据不同局部的注意力对其进行融合。
这些方法性能不好的可能性分析:
1.局部划分出的特征相似性高。局部划分时,特征被划分为1环、2环、3环,再将它们作为节点构建图关系。有些节点之间的相似性会非常高,可能会影响其结果。
实验得到不好结果后,并没有调参进行多次实验验证性能。
下一步计划
在ASFF之上改进代码,并使其适用与多阶段不同维度和形状的特征融合。
进一步在大的框架下,针对图卷积模块进行实验并改进。