阅读了 Negative Selection by Clustering for Contrastive Learning in Human Activity Recognition

代码工作

• 实现自编码器，编码、解码特征并构建一个简单的网络模型进行训练，绘制loss下降图。
• 在 pven 中引入完全移植 UFDN 论文里的损失函数，进行实验。
• 修改 UFDN 代码，去掉类 transformer 特征token提取模块。进行实验。
• 在 UFDN 中移植 pven 的数据处理模块，解析生成 mask。
• 对移植pven数据处理方法后的UFDN代码进行实验。

问题分析

• 移植UFDN损失到pven后没有达到理想效果
  首先猜测可能是pven的mask 划分局部操作对损失函数按通道划分局部这个过程有负面影响，于是暂时移除mask，模仿UFDN不进行空间上的划分进行实验。实验结果更差。
  接着进一步猜测可能是UFDN的token提取模块比较关键，只移植其损失函数到pven上并没有效果。于是考虑，在UFDN上进行实验，去掉其 token 提取模块，进行消融实验查看结果是否和pven上一样不好。
• 移除UFDN的token提取模块后性能没有明显下降
  经过反复验证，发现token提取模块去掉后性能不会下降。猜测和pven性能差异的原因可能是训练过程中参数设置差异或者与数据预处理方法有关。
• UFDN的loader数据增强和加载实现函数和pven的有较多差异
  考虑将pven中的mask移植到目前性能较好UFDN上进一步调优，沿用pven的图片读取方式和数据增强方式 （pven使用cv2读取图片，类型为array, UFDN使用PIL读取图片，类型为tensor）。继续实验，沿用pven的数据处理方法后，在UFDN的框架再次训练，性能并没有下降。

下一步

• 调通使用聚类生成伪标签弥补对比学习的代码，并在原数据集实验复现结果以保证代码和论文一致。
• 更换数据集和数据增强方法为车辆意图，进一步实验。
• 优化改进聚类伪标签的生成方式。
• 弄懂UFDN损失函数的代码细节，以求替换和改进。