yuyi
知不可乎骤得，托遗响于悲风
科研流水账80
论文阅读
Diversified branch fusion for self-knowledge distillation
- 参考论文中的动态logits融合的方案对全局局部蒸馏进行改造。
- 使用推理时cat全局局部的方式融合全局局部特征为一支加在训练阶段。
- 对图卷积中图节点构成边的过程进行实验，其原始为保留所有边。
- 将图卷积直接加到之前性能最好的模型里。
使用论文logits融合的方法
同时使用标签对融合后的logits分类进行指导
Cat全局和局部为一支加入训练
图节点生成边矩阵时阈值为0.5-0.6
使用原始图节点生成矩阵
问题分析
- 多Logits融合的方法
第一次实验时忘记使用标签的对融合后logits的分类进行指导。第二次实验加上指导后性能反而更差了。这可能是损失权重没有平衡好的原因。
下一步
- 一方面继续对多logits融合进行实验，因为目前实验结果来看这个对性能可能更有价值。可以考虑将之前自己设计的CE损失权重加上去。
- 另一方面尝试复现单独使用图卷积后达到82.0左右的性能。
