阅读了论文 MULTI-SCALE FEATURE FUSION: LEARNING BETTER SEMANTIC SEGMENTATION FOR ROAD POTHOLE DETECTION

论文提出的方法：
提出了一种但模态语义分割的坑洼检测方法。使用通道注意力模块重新加权通道特征增强不同特征图的一致性。随后再使用空洞空间金字塔池化模块整合空间上下文信息。

• 多尺度特征融合模块。
• 通道注意力模块。

代码工作：

• 在fast-reid 中添加对 loss 的自适应权重后，调整学习率，进行实验。
• 在 pvassf 中添加 FPA 模块。
• 在 fast-reid 中使用 GAU 进行多尺度特征融合，在进行circle_pooling 划分为局部特征进行训练。

VeRi Rank-1 Rank-5 Rank-10 mAP mINP metric
baseline 94.64 97.62 98.45 77.24 42.01 85.94
MultiHead 96.31 98.09 98.75 80.26 46.14 88.28

问题分析

• FPA中输入图片尺寸为 256X256，因此经过骨干网络后的特征图大小为16X16。
  PVASFF中输入图片为224X224,通过骨干网后的特征图为14X14。
  因此在将FPA添加到PVASFF 时需要修改逆卷积的卷积核和padding。
• 代码修改后loss出了问题，怀疑可能是网络模型变复杂了，需要调整学习率，但初步尝试调整后无果。后面仔细调试、排查代码，发现只有分类损失出了问题，于是尝试着替换分类层部分的代码，问题解决，但是还需要思考分类层出问题原因。
• 代码评估时出了问题，正在调试。

下一步研究

• 思考并应用三种改进方法。
• 对多尺度特征的各种融合方法进行实验，调整 fast-Reid 的整体与局部的loss。